Deep Learningのビジュアライゼーション

ニューラルネットワーク、特に隠れ層が４層、５層と増えてディープになるにつれて、エッジの重み計算がどのような感じに行われて行くのか、ビジュアルにできればうれしいですね。Pythonのmatplotlibなどでもできるでしょうが、ここにNetLogoが登場します！

こんな風にもマルチエージェントモデリング環境のNetLogoが使えて、その奥深さをさらに知ることになります。NetLogoには、組み込みの例題Model Libraryに下図のような中間層１層のニューラルネットワークの学習過程を見せるものがあります。これもなかなか良いです。

と思っていましたが、もっと多層にしたNetLogoでのVisualizationは誰かやっていませんか？いました！世のかな広いです。以下に中間層４層の場合でmnist（6万枚手書き画像training）をやっています。見事ですね。なお、中間層でいくつのノードが消えているように見えます。そうです、Dropoutという技術で過学習を抑えることもやっています。

これらを実行させて、そのアニメーションを見ていると、なんだか、本当の脳のなかがこんな風に発火して考えているのかな、という思いにさせられます。