ニューラルネットワークの仕組み

nnetのサイズは階層を表わすと思っていたら違った。

昨日のsin関数を作るニューラルネットワークを視覚化できることがわかったので
サイズ10でやってみると、

f:id:bunryuK:20200114074042p:plain

つまりサイズは中間層の数だった。
しかもとても単純なネットである。

線の太さは重みの数値の大きさ、黒は正の数で鼠色は負の数だろう。
B1とB2は重み1と決まっている入力。

次は入力層を複数にしたらどうなるのだろう。

こんな単純なNNなのに関数を表わすことがなぜできるのだろう?
これについて、普遍性定理というのがあることを知った。

ニューラルネットワークと深層学習

ここにあらすじが書いてある。
「与えられた連続関数をどこまでも近似することができる3層のNNが必ず存在する」
という定理。

これをもっと視覚的にわかりやすく説明してあるのが次のサイト
初心者向けニューラルネットワークの基礎

これならGeoで作れそう。