クリスマスプレゼントか、NetLogo 6.0リリース（日本語に恩恵）

マルチエージェントモデリングソフトNetLogoですが、2016-12-23ににNetLogo 6.0として正式リリースされました。クリスマスプレゼントのようです！？6.0の詳細は以下にあります。

http://netlogo-users.18673.x6.nabble.com/NetLogo-6-0-released-td5006349.html

いろいろ素晴らしい改善がなされているようですが、私が特に注目したのは、Windows版において、エディタで日本語が使えるようになった！ことです。Macでは従来から何も問題無く日本語は使えました。しかし、学生はWindowsであり、私がコメント付きのNetLogoプログラムソースを渡しても、文字化けしてだめでした。それが解消されました！また、メニューも日本語になっていました。

NetLogo5.3-日本語コメント文字化け

NetLogo6.0-日本語コメントＯＫ！

マルチエージェントでDeep Learningの基礎

私は時々、ちょっとしたITテクニカルな話題（試行試作の経験）を発信しています。そうしていると、教員、学生のみなさんから、時として、「先生、こんなことやられていますよね。僕も、私も、それをこんなところに使ってみたいのですが」という相談に来られる場合があります。いいですね。これはうれしいですね。昨日もありました。

その一環として、話題のDeep Learningの基礎である多層ニューラルネットワーク（バックプロパゲーションあり）についてです。現在、私の３年生ゼミで、マルチエージェントシステムNetLogoによるアプリケーションをやっています。あと３回くらいあります。Deep Learningの基礎をやりたいです。NetLogoに適当な例題ソースがありました。10年前に、NetLogoの創始者Wilensky自身が書いたプログラムです。基礎になることは、10年以上前にあったことを再確認！という感じです。

通常、Deep Learningをやるためのプログラミング言語は、Pythonですね。あるいは、Javaもありますが。マルチエージェントでやっている例は少ないでしょう。しかし、各ノード、そしてリンク（辺）自体もエージェントとして扱うとよいです。特に、リンクの重みが重要ですが、それは、リンクエージェントのひとつのプロパティ（属性）にすると自然に扱えます。

これを3年ゼミでやってみようと思います。しかし、ソースには、僅かな英文コメントしかありません。これじゃちょっと無理なので、全ステートメントに１行づつ日本語コメントを入れたものを作成しました。さらに、最も難解と思われる、バックプロパゲーションの解説図も付けました。何種類かの微分の式です。

（→もしも、この資料を希望される方は、メールでお知らせください。）

XORを認識するニューラルネットワークであることの確認

人工知能･ディープラーニングを学ぶためのメモ

　先日のKAITシンポジウム2016での、インテル野辺氏の基調講演、甲南大学灘本先生の招待講演とも、人工知能/ディープラーニングが話題になっていました。もはや、過去に人工知能関係をやっていたかどうかにかかわらず、広い分野の人々がこれを利用したり、活用を考えたりする時代が来たようです。

　遅れたスタートとなったのですが、私もなんとかやりはじめています。いろいろなレベルがあるでしょう。これまでに、私自身が買って読んだ（完読にいたらないのもありますが）書籍、それと実際にPythonやJavaで試した事項などが増えてきました。放っておくとすぐに忘れます。そこで、簡単にまとめた図を作り、今後をこれをもとに中身を充実させて行きたいと考えました。

　有名なDeep Learning関係のソフト、ツールなどで抜けているものもあります。全部網羅することはできません。自分に何か響いたものをやっています。

KAITシンポジウム2016で「現実感のある」エージェント指向モデリングを展示

以下の「KIAITシンポジウム2016」にて、「現実感のある」エージェント指向モデリングについて、ポスター発表とデモを行いました。
http://www.sympo2016.cs.kanagawa-it.ac.jp

展示したポスターは以下のものです。具体的題材は以下の２つです。
（１）共有資源競合問題（食事する哲学者）- 分散デッドロック検出
（２）指揮者なしの集団の同期動作 - 位相遅延モデルによるホタル群の自律的同期明滅

いずれも、以下の構成になっています。

• 問題と解法原理の説明
• NetLogoを使ったエージェント指向シミュレーション
• Androidスマホ、またはSunSpotを用いた実装方法
• その実働デモ

本学小宮学長をはじめ、外部からの何人かの来場者に説明することができました。こういう場では、やはりデモが重要だと改めて感じました。本当は（１）の方に力点を置きたかったのですが、問題の意味を説明する必要があり、ちょっと時間がかかる。一方、（２）の方は説明しやすく、すぐにデモに入れるものでした。

（１）のデモでは、５台のAndroid端末が必要です。（私が、一人で10台のAndroid端末をいつも持っている理由がここにもあります！そんなことは説明しませんでしたが。）そして、こういう場では、インターネットを使うと、時として失敗する場合があるが（特に大勢の来場者があってそれらの人がWiFi機器を持っている状態では）、今回は、５台のAndroidの間でローカルネットワークを構成（ごく近接で）することでその心配はほとんどありませんでした。

Web Serviceの続きの続き (分散システムの演習)

　先の記事「Web Serviceの続き」の続きです。以下の図を見ると、なんだ、Android端末が追加されただけじゃないの？と思われるかもしれません。しかし、そこが重要なのです。JavaのJAX-WSを使って生成される一般のWeb Serviceが、別の言語（例えばPython on Ubuntu）でのクライアントからも使えることは非常に大きい。今回は、そこへAndroid端末も参加させたということです。

　
　なお、Android上でWeb serviceのクライアントプログラムを書くには、KSOAP2という軽量ライブラリを使います。スマートフォンという制約されたリソースで動かすために用意されたライブラリです。しかし、それだけに、Python等の場合と比べて、やや記述量が多くなります。例えば、Webサービスに含まれる引数付きのメソッドを呼び出すには、引数の型や値を特別のプロパティに設定してやる必要があります。また、スマートフォンでは非同期処理も重要であり、このライブラリ使用もAsyncTaskとして扱います。

Web Serviceの続き（分散システムの演習）

　｢分散システム｣授業での演習の続きです。JavaのJAX-WSを利用して、簡単なWeb Serviceを作成、デプロイして提供します。Web Serviceは、本来、OSやプログラミング言語に依存しない汎用性を売り物にしているはずです。ですから、簡単な演習とはいえ、それを実際に体験することは重要ではないでしょうか。

　ということで、以下のように、Mac OS XのJavaで作成し、公開したWeb Service（本質的には、wsdlファイル）を、UbutuのPythonから利用するClientを作って試しました。図のように、PythonのSOAPライブラリであるsudsを用いると、Python Clientプログラムは非常に簡単に書けます。この例では、Web Serviceとして提供される２つのメソッドを、getTime()とgetSquareRoot(625.0)として、Ubuntu側から呼び出して実行させています。

UbuntuのPythonでwsdlクライアントを実行

Google TranslateをMIT App Inventorで試す

　｢グーグル、ニューラル機械翻訳の仕組みをブログで解説｣という記事がWebに載っていました。Google Translateですね。それを試すには、すでにAndroidアプリがGoogle Playに公開されていますので、できます。しかし、ここでは、Google Translateを自分のAndroidアプリに組み込んでみます。

　そこで、MIT App Inventorです。ここには、すでに、Yandex Translateという自動翻訳用のブロックがありますので、すぐに使えます。しかし、Google Translateの方は、まだそのようになっていませんので、汎用のWeb_Getをして、返ってくるJSONファイルをデコードする必要があります。でも、JSON処理ブロックはありますので、かなり簡単にできます。

　ということで、さっそく、簡単なAndroidアプリを作成し、両者の翻訳性能（英語→日本語）をためして見ました。以下の図のようになりました。何例かやって見ましたが、圧倒的にGoogle Translateの方が優勢のようです！

　なお、Yandex Translateは無料ですが、Google Translateを上記のように自分のプログラムからAPIを呼び出して使うには、一定の料金がかかります！
　Yandexは、限時点では、仏語やスペイン語などを優先していて、日本語翻訳にはあまり力を入れていなようにも思える。それに対して、Googleの新しい手法では、統合的に日本語も対象となっているようだ。

Creating Web Services with JAX-WS

　｢分散システム｣授業での簡単な演習という記事を書きましたが、その続きです。
その時は、Java RMI (Remote Method Invocation)をrmiregistry（ネームサーバ）で行いました。今回は、さらに進化した現代のWeb Servicesです。以下のような仕組みです。

Web サービス（菅原健研次「はじめての分散処理システム」より引用）

　

授業でこの演習（簡単な例題で動作を確認）したいのですが、WSDLでの記述やSOAPメッセージの作成はそれなりに面倒です。それを大幅に緩和させて、しかも、Web Servicesの仕組みの本質を体験するには、JAX-WS web serviceというJava標準ライブラリを利用すれば良いようです。これで演習をやります。さらに、以下のこともできそうです！

• JAX-WSでパブリシュしたWeb serviceに対して自動されたWSDLから、wsimport（jdkに標準付属）によって自動生成されたstub相当のプログラムを使って、クライアント側のプログラムを作成する。
• Eclipseに組み込まれているTCP/IP Monitorを利用して、SOAPメッセージを追跡する。(ただし、この場合は、クライアントのポートをこのMonitorサーバのポートに変更する。すると、このMonitorから本来のクライアントのポートへ転送されサーバへ行く。）
• 一例として、Java以外の例えば、Rubyでもクライアントを作成して、このWeb Serviceを利用してみる。Web2.0のもと、Web Serviceは、言語やOSに依存しません！
• なお、ここではUDDIは省略。たくさんのWeb Sericesを生成した場合はUDDIへ登録することになるが...

-------------上図の補足---------------------------------------------------------

[1]機能
　●人手を介さず、プログラムが自動的に協調
　●高度なユーザリクエストを処理

[2] 構成要素
　●アプリケーションサーバ
　●Webサービスサーバ
　●サービス仲介サーバ

[3] XML (eXtensible Markup Language)
　●プログラムが、Webページの要素の意味に基づいた処理できるようにする。

[4] WSDL (Web Service Description Language)
　●XMLベースで、Webサービスの仕様を記述する。

[5] SOAP (Simple Object Access Protocol)
　●メッセージはXMLで記述、上記３サーバ間のメッセージ交換用プロトコル

[6] UUDI (Universal Description, Discovery and Integration)
　●Webサービスの登録、問い合わせ、提供のためのプロトコル

日経ソフトウェア(2017年１月号）にもTensorFlow

　日経ソフトウェア（２０１７年１月号）、９ページという短い記事ではありますが、TensorFlowでMNIST（定番の手書き数字認識）をやっているではありませんか！
人工知能（ディープラーニング）がこんなに身近で、手軽に使える時代になってしまいました。教員もうかうかできません！

TensorFlowはすぐ使えるよ、という日経ソフトウェアの記事９ページ分

　ディープラーニングでMNISTを高い精度で認識するには、多層構成の畳み込みニューラルネットワークを構成する必要があり、バックプロパゲーションでの全体の誤差関数の偏微分も効率よく計算しないといけない。TensorFlowは、そういうことを全部（ではないにしてもかなりを）受け持っているのだからこういう状況になる。

　しかし、使いこなすのはそんなに容易ではない。基礎知識がないとできない。あまりうかれていないで、地に足をつけて望む、という昔からの鉄則も心がけたい。

MIT App Inventorと人工知能（ディープラーニング）

　MIT App Inventor for Androidは、現在も進化し続けています。そのひとつとして、このサービスを新たな観点から進展させるサイトThunkable.comがあります。ここでは、いち早く、「人工知能」というメニューを設置し、MicrosoftのEmotion RecognizerとImage Recognizerを使うためのブロックを提供しています。ディープラーニングに基づく画像認識ですね。

Microsoftの画像認識用のブロック（左メニューの下部）

これを利用すれば、以下のようなアプリを、App Inventorのみですぐに作れます。下図の右側の画像認識結果として英文説明が返ってきますが、自動的に日本語に翻訳もしています。この自動翻訳ブロックも上記メニューから利用できます。（英語→日本語変換はかなり難しいようです！？）

感情（左）と物（右）の自動認識結果

次にTensorFlowへ

　｢PythonでゼロからDeep Learningを作る｣をひと通りやった後は、いよいよGoogle TensorFlowへ行くのがひとつの流れでしょう。勉強だけやってもどうかという声もありそうですが、何か事業を始めるには、基本知識や立案能力の涵養、それと事業資金の調達が必要です。修士の研究や卒業研究も同じですね。一定の基本技術はきちんと勉強しなきゃいけない。｢PythonでゼロからDeep Learningを作る｣をやっていれば、TensorFlowのようなフレームワークやツール、API などの利用はぐんと楽になり、理解も深まるはずです。そう考えましょう。

 　私が購入しているTensorFlowの書籍は上の２つ。共に、主要な例題として、｢PythonでゼロからDeep Learningを作る｣の場合と同じく、MNIST（6万点の手書き数字画像学習＋１万点のテスト画像）を扱っていますので、馴染みやすいです。

　英文の方は全140ページと薄くて、コンパクトな説明となっています。和書の方は、少し厚いですが、内容的には同じようなものです。ただし、この和書は、主として、GoogleのTensorFlowの公式チュートリアルに準拠しているようです。なお、両書とも、Python3ではなく、Python2.7でやっています。TensorFlowの方がそうなっているためでしょうか。私が実際に試した限りでは、実は、TensorFlowはPython3でも特に問題無く使えるようです。

世界ランキング34位の性能のDeep Learning Pythonコードまで学べる！

別記事でもご紹介した、下記の書籍（A5版全298ページ）：

斎藤康毅著
｢ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装｣

　隅々まで完全理解とまでは行かないが、最後のページまで来た。途中でPythonコードをタイプしながら実行したり、考え込んだりだったが、Deep Learningの基本をソースコードレベルで一定の理解ができた。この書籍は、how toものではない。理論がしっかり分かる。しかも、基礎にとどまらず、最新の技術も取り入れている。そのため、最終的に作ったPythonコードは、MNIST（手書き数字画像セット）に対する世界コンテストランキングの第34位にあたる認識率（= 99.35%）を誇る！

　このランキングを以下に示すが、認識率ではなく、誤認識率（エラー率）で順位づけしている。100% - 99.35% = 0.65%が今回の対応性能である。

MNISTの誤認識率（error %）世界第34位の性能！

　1万件の手書き数字画像（学習用の6万件とは独立に用意された）の誤認識率が、わずか0.65%というのは驚きではないでしょうか！

認識率　99.35% ！（背景は誤認識となった数字画像例。確かに紛らわしいですね。）

この書物は、入門的ではありますが、次のように、最新技術も取り入れたDeep Learningをやるという意欲的な取組みがあってのことです。

●以下のような多層の畳込みニューラルネットワーク構造を採用

　conv - relu - conv- relu - pool -

　conv - relu - conv- relu - pool -

　conv - relu - conv- relu - pool -

　affine - relu - dropout - affine - dropout - softmax

●重み初期値設定にHe法、重み更新法にAdam最適化を適用

　しかし、それだけのことはあります。上記にような認識率（誤認識率）を得るために学習にはかなりの計算時間がかかります。最近では、CPUではなくGPUの数値（並列）演算を利用するようです。ですが、ここでは、手持ちのNote PC（2コアCPU、2.4GHz）でやって見ました！実に、約６時間かかりました。もちろん、このNote PC、CPU稼働率100％近くで６時間走り続けましたが無事でした。この学習結果をPythonのピックルファイルに格納して利用することで、評価結果（認識結果）はすぐに得られます。

Deep Learningのビジュアライゼーション

ニューラルネットワーク、特に隠れ層が４層、５層と増えてディープになるにつれて、エッジの重み計算がどのような感じに行われて行くのか、ビジュアルにできればうれしいですね。Pythonのmatplotlibなどでもできるでしょうが、ここにNetLogoが登場します！

こんな風にもマルチエージェントモデリング環境のNetLogoが使えて、その奥深さをさらに知ることになります。NetLogoには、組み込みの例題Model Libraryに下図のような中間層１層のニューラルネットワークの学習過程を見せるものがあります。これもなかなか良いです。

と思っていましたが、もっと多層にしたNetLogoでのVisualizationは誰かやっていませんか？いました！世のかな広いです。以下に中間層４層の場合でmnist（6万枚手書き画像training）をやっています。見事ですね。なお、中間層でいくつのノードが消えているように見えます。そうです、Dropoutという技術で過学習を抑えることもやっています。

これらを実行させて、そのアニメーションを見ていると、なんだか、本当の脳のなかがこんな風に発火して考えているのかな、という思いにさせられます。

不滅の高校数学

Deep Learning関係の基本書として有名になっているものに以下の書籍があります。

Tariq Rashid, "Make Your Own Neural Network"
　（Python言語で自分でゼロからニューラルネットワークを作る）

優しく一歩づつ作って行きますが、最終的に、手書き数字の認識率98%（畳込みなどはやっていないのでそれ以上は無理かも）の性能のPythonコードを書くという内容です。その中で、ニューラルネットワークのエッジの重み更新にはどうしても微分（偏微分）が出てきます。でも、このような本の読者に、以下のような説明はいるのでしょうか？と思える丁寧さで微分も説明しています。

上記書籍での微分の説明箇所（誤植あります！？）

私の高校時代には、確か、数学IIBでこれはやったはず、と思って当時の数学教科書を見てみました。私は、どういうわけか、もう半世紀近く前になるというのに、当時の数I、数IIB、数IIIの高校教科書を持っています！

学力低下など指摘されていますが、上記の書籍が発行された米国でも事情は同じなのでしょうか。ああ、不滅の高校数学！

私の高校時代の数学IIBの教科書（微分法の説明）

JavaでDeep Learning、そしてLambda & Parallel Stream

 Deep Learningを学んだり、それを使った研究をする場合、プログラミング環境や言語の選択肢がいくつかあります。目的や用途でちがうでしょう。私の場合、総合的に考えて、プログラミングはPython、まずPythonで基本プログラミンを行い理解を深める。その後、Pythonのライブラリとしての位置づけにある、有名なGoogleのTensorFlowへ行く。そういうつもりで進めています。

しかし、実を言うと、Javaプログラミングを教えている関係で、JavaでDeep Learningの基本を全部作ってみたい。そして、Javaでの本格Deep Learning版であるDeepLearnig4Jなどへ行きたい。こちらも捨てきれない状態にあります。

そんななかで、｢Java人工知能プログラミング｣という書籍を入手しました。あまり詳しい解説のない入門書ですが、ゼロからDeep Learningの基礎部を作るようになっています。ノイズに強い学習をめざすデノイジングオートエンコーダも作っています。そして、何よりも、｢これはいい！｣と感じたこと、それはJava SE8のLambda式と並列Streamを使っていることでした。さっそく学習する例題を実行させました。４コア（８ハイパースレッド）のマシンの実行時のCPU稼働率を示します。圧倒的な並列度の高さを感じられました。

下図で左側は通常Stream、右側はParallel Streamの場合です。

分散システムでの簡単な演習

｢分散システム｣という授業をやっている。週１コマなので講義主体となるが、演習もやりたい。しかし、分散システムとしての演習にはその環境設定が大変である。でも、自分のノートＰＣだけで（サーバとクライアントを疑似的に起動して）ある程度のことはできる。それには、JavaのRMI（Remote Method Invocation）が良いだろう。

EclipseなどのJava開発環境があれば（あるいは無くてもコマンドラインからJavaコンパイルができれば）何も余分に必要ない。図のように、ネームサーバ rmiregistryを起動できる。次に、サーバ側プログラムを用意して、リモートオブジェクトにしたいもの（クライアントに使わせたいもの）をrmiregistryにrebind()で登録するだけ。クライアント側は、rmiregistryからlookup()でそのリモートオブジェクト（のstub）を取り込めば、必要なメソッド（サーバ側にある）を起動できる。

以前は、rmicコンパイラで、自分でstubを生成する必要があったが、現在はその必要はなくなったので、一層便利になった。

厚木有隣堂の「人工知能フェア」

すでにご覧になった方も多いかも知れませんが、厚木の有隣堂書店で｢人工知能フェア｣というコーナーがありました。

http://www.yurindo.co.jp/honatsugi/3675

このフェアのコーナーには、人工知能の一般啓蒙書から難しそうな専門書までいくつか展示してありました。そのなかで、専門書としてベストワンに上がっているのが、添付写真の｢Pythonでゼロから作るDeep Learning｣です。この本、すでに、Amazonでも大きな反響を呼んでいます。私も、実は少し前に買ってこれで、勉強中なのです。約300ページですが、８割かたは読破？したので、最後まで読んだら、少し詳しい書評（というよりも自分なりのまとめ）を書こうと思っています。

評判どおり、すばらしいです。step by stepで進みますが、最後の方ではCNN（畳み込みニューラルネットワーク）まで行って、最終的に、テスト用に用意された10,000枚の手書き数字の判定の認識率が99%を越える性能のPythonソースプログラムへ行きます！（訓練用手書き60,000枚とはもちろん別のものです。）

バックプロパゲーションでの偏微分を、数値微分ではなく、計算グラフでやるというのが（一般的なのかどうか知りませんが）私には目新しいことでした。この件は、Stanfordの公開講座の資料に基づくと書いてありました。

卒業研究でもMIT App Inventor

卒業研究でもMIT App Inventor。最近のExtensionsではない従来のActivity StarterでJavaを呼び出方法も非常に有効。Ｔ君はその方法で、災害などで閉じ込められた人とのBlutooth通信（Internet不可）アプリを開発中。うまく行っている。

MIT App Inventor for Android !

MIT App Inventor for Android !　ここ１年くらいで、最も大きな進歩は、Entensionsだ。原理的には、ユーザがJavaで自由に機能ブロックを作成定義できる！しかし、現実にはかなりハード。だから、Taifun氏らによる開発に期待。既に利用している。

Deep Learning = 人工知能か

Deep Learning = 人工知能か。その風潮になってきた。原理を知るには、一定の書物できちんと勉強したい。和書（和訳ではない）｢ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装｣は、絶賛したい書籍！いずれ詳しい書評を書きます。

NetLogo

NetLogoは、非常に優れたエージェントモデリング環境だ。しかし、時には、さらに現実感のあるモデル（実際のネットワーク構造や実際のエージェント間距離など）も動かしたい。そのため、一人のエージェントを１台のスマホに実装した：

http://blog.cs.kanagawa-it.ac.jp/2016/10/blog-post_28.html …

人工知能→Deep Learning

人工知能→Deep Learning。IBM Watson, Google TensorFlowなどの環境やツールが揃ってきた。だが、それがどういう理論と仕組みなのかを知るには、ゼロから作ってみることも重要。ある手引きに沿って挑戦：

http://blog.cs.kanagawa-it.ac.jp/2016/09/blog-post.html …