人工知能でお菓子を認識する（その１）

　最近の人工知能アプリの開発環境として注目を集めているもののひとつに、Sony Neural Network Consoleがあります。通常のようなプログラミング言語でのコーディングなしに、ＧＵＩの操作だけで、各種のNeural Networkを構成して、学習させ、問題を解くことができます。さらに、Neural Networkの層の構成を含めた各種のハイパーパラメータの自動チューニング機能もあります。　

　このSony Neural Networkを使う例題、良くある画像関係のもの多いと思っていましたら、それと違う、時系列データ（ここでは音データ）を扱うものがありました。それは、コンピュータサイエンス＆テクノロジの専門雑誌｢インタフェース｣の2017年12月号に載っていました。この素晴らしい記事を書かれた常磐和宏氏に感謝したいと思います。
　以下は、それに興味を惹かれて、追試行したメモに過ぎませんが、ご参考になるところがあればうれしいです。

■解きたい問題
　下図にある5種類のお菓子等を、振って（適当な秒数）、その音で、どのお菓子であるかを認識するというものです。[0]と[3]のデータは、上記雑誌で提供されているものを使いました。一方、[1]と[2]のお菓子は、自分でスーパーへ行って購入し、音データの作成も自分で行いました。また、[4]龍角散飴は雑誌ではやっていないのですが、家にあったので追加してみました！

お菓子と飴の５種類を用意します

（１）音データの準備
　まず、それぞれのお菓子の袋を振って、カサカサという音を20秒くらい録音します。その生データは.wavという拡張子のファイルにします。次に、それにFFTを施し、10行256列の.csvファイルのファイルに分割します。行を時系列とし、列はFFT後の周波数毎のゲイン（dB）とします。これは、10msごとにオーバラップしながら、音を切り取った.csvファイル群になります。[2]とんがりコーンを振った時のカサカサ音の例は以下にあります：
https://www.dropbox.com/s/27wjqxhk6x149xw/fycorn.wav?dl=0

とんがりコーンを振った時の音の例

（２）学習用データと評価用データの準備
　ディープラーニングでは、学習用に大量のデータが必要です。この場合は、幸い、簡単に自動的に、上記の.csvファイルを生成することができます。それらの.csvファイルのそれぞれに、５つのうちのどのお菓子であるかのラベルを付けたものを作ります。今回は、雑誌の例のとおり、学習用と評価用に、それぞれ、お菓子毎に100個のファイルを用意しました。

入力データセットに設定した周波数スペクトルの例

（３）Neural Networkの構成
　この場合は、時系列のデータを学習させます。そのための基本的な構造RNN（Recurrent Neural Networ）のモデルも用意されています。それを使います。適宜、ハイパーパラメータを変更することも可能です。その構成は、図のように全て、GUIで行います。

RNNの層構成

（４）学習と評価の実行
　どのようなNeural Network構造にするか、そして、学習用と評価用のデータセットの場所を指定した後、ボタンを押すと、指定された回数（epochs）だけ学習が行われます。その状況もグラフィックスで見ることができて楽しいです。学習には一定の時間がかかります。それが済んだら、今度は、評価用のボタンで評価を実施します。これは、学習に比べて、非常に短時間ですみます。フォーワード計算だけですから。

ラーニングカーブ（Training Error & Validation Error）

（５）結果
　４つのお菓子を振った結果として、トータルでは、約90％の精度で認識できました。下図にあるように、[1]ベビースターと[2]とんがりコーンは、97%〜99%と高い認識率でしたが、[0]札幌ポテトと[3]かっぱえびせんは、互いにどこか似ているのか、やや認識率が低く、82%〜87%という結果でした。[4]龍角散は88％とまずまず。

学習後の評価結果（クリックして拡大できます）

■まとめ

　Deep Learningに関しての基本的なところの一定の理解があれば、このような（多分他の方法では結構むずかしい）問題も、解けてしまいます。すばらしい！と思ったら、中身をさらに調べ、周辺知識も修得する方向に持っていけるのではないでしょうか！

LSTMを用いた電力消費予測の検討

　予測したい対象はたくさんあります。株価、為替、売り上げ、気象、等々がすぐ思い浮かびます。そのなかに、電力消費の予測もあるでしょう。最近は、電力自由化に伴い、電力売買相場もあります。また、電力会社では、従来から設備計画や稼働計画立案のために、電力消費予測は重要と思われます。

　そこで、人工知能で注目されているものの一つ、LSTM（Long Short-Term Memory）でやってみます。LSTMは、時系列を扱うRNN（Recurrent Neural Network）に属します。特に、Long Termつまり、かなり以前のデータも効率的に利用して学習できる点に特徴があります。

　詳しい説明は別途書くとして、以下に結果だけを示します。本学の学内電力消費と、米国のある企業の電力消費の予測結果です。いずれも、下図の赤枠の左側の実測値から、赤枠内を未来予測したものです。

学内電力消費の予測例

米国のある企業の電力消費の予測例

RNN（Recurrent Neural Network）による時系列データ予測の分かりやすい例

RNN（Recurrent Neural Network）を使った時系列データの予測（推定）を理解するための良い例題（アプリ）がGoogleから提供されています。とても参考になるように思います。

https://magenta.tensorflow.org/sketch-rnn-demo

We taught this neural net to draw by training it on millions of doodles collected from the Quick, Draw! game.　と書かれています。

以下の例は、「人の手」の簡単なイラストです。これを無数に用意して、RNNに学習させているはずです。RNNの学習とは、「P1, P2, P3, ... , Pn-1」まで描いた次はPnへ行きます、という時系列データセットP = {P1, P2, P3, ... , Pn-1, Pn }を十分多く用意します。そして、このようなデータセット群の全てについて、以下を満たすような一つの近似関数Fを求めることです。

　Pn = F(P1, P2, P3, ... , Pn-1)

十分満足できるようなFに到達するには、多くの学習回数が必要となるでしょう。以下は、そのような学習が済んだRNNを使っているはずです。

[Case1] マウスで、親指から人差し指の途中まで描くと、RNNはうまく、残りの部分を描いてくれました。

[Case2] 今度は、小指から薬指の途中まで描くと、これについてもRNNはうまく、残りの部分を描いてくれました。

[Case3 今度はうまく描けません！親指と人差し指あたりを強調するため、何度も行ったり来たりしたためです。そのような点列のデータは、このRNNは学習していなかった！

チンパンジーと人工知能（Deep Learning）による「じゃんけん」の理解

[追記：2017-9-17]チンパージと人間（または人工知能）とのじゃんけんについて追加しました。
　
　チンパンジーに「じゃんけん」のルールを理解させることに成功した（京都大学にて）とのニュースがありました。

http://www.kyoto-u.ac.jp/ja/research/research_results/2017/documents/170810_1/01.pdf
http://www.kyoto-u.ac.jp/ja/research/research_results/2017/170810_1.html
https://www.youtube.com/watch?v=5qqLKADacOE

　それならば、現在の人工知能（Deep Learnig、特にCNN（畳み込みニューラルネットワーク））にも同じことをやらせてみよう、というのが本稿の趣旨です。以下では、私の理解した京都大学での実験をもとにしました。（私の理解に誤りがあるかも知れません。その節はご指摘いただければ幸いです。）

■チンパンジーは何を学んだのか
　下図に、チンパンジーの手による「グー」「チョキ」「パー」があります。それぞれ1種類のみです。このうちの異なる２つを並べた画面をみて、どちらが勝ちかをチンパンジーに学ばせます。勝ちの方を正しく答えた（指を指した）場合に、餌をもらえます。

　そのような画面（左右入れ替えも含めて６種類の画面）を、１日に144回（3パタン×48回）学ぶ。それを約100日続けた結果、６種類のどの画面が出ても、正しく答える（指さす）ようになった。
　なお、この１セットの画像以外に、「手の甲とひらを変えた画像のセット」や「人間の手による画像のセット」でも、同様に学習できることが判明したとのこと。

■人工知能 CNN君による学習
　結論から言いましょう。CNN（畳み込み層３層＋α）では、チンパンジーが学習した６種類の画面に加えて、さらに１２種類の画面（合計１８種類の画面）を学習しました。これに６０エポックを要しました。その学習結果を使って、本来の６種の画面をテストした結果、すべてに対して正解を得ました。（十分に学習が済んでいれば当然そうなります。）下図が、その出力結果図です。ここでのCNNは、Keras on Tensorflowを使って構成しました。

（注）このCNNでは、18画面を学習用データとしました。そのうちの6画面をテスト用にしました。通常の場合は、学習用データをテスト用データは別々に用意しますが、チンパンジーの学習の仕方に合わせるため、このようにしました。

■簡単な考察

• チンパンジーの学習では、学習完了までに、６種のうちのいずれかの１画面×140回×100日 = 14,000回画面を見た。
• 人工知能CNNでは、学習完了までに、18種類の画面×60回 = 1,080回画面を見た。
• 単純計算では、（かなり乱暴だが）CNNはチンパンジーよりも、14,000／1,080 = 13倍の効率で学習できたとも言える。
• チンパンジーは、６種類の画面だけをひたすら学習した。
• 一方、CNNではこの６種類の画面だけでは、十分に学習することができなかった。以下のようにさらに１２種の（元の画像を左右に回転させるなどして得られた画像を編集した）画面を追加して学習することで上記の結果を得た。
• すなわち、チンパンジーは少ない種類の画面を多くの反復回数をかけて学習した。一方のCNNは、（いくつかの変形を含む）多くの種類の画面を少ない反復回数で学習した。これは、CNNの重要な特性であろう。

■チンパンジーと人間の間のじゃんけん

　この京大の研究結果に基づいて、将来的には、チンパンジーと人間（または人工知能CNN君）がじゃんけんすることもありそうです。そこまでは検証できませんので、ここでは、CNN君が、下図のような、チンパンジーと人の手の組み合わせでも難無く学習できることを示しておきます。

　実際に学習した成果（CNN君による判定結果）を示します。チンパンジーの手だけの場合と比べて、特に難しいことではありませんでした。CNN君にとっては。

LSTMによる学内消費電力の予測

　Deep Learningにおいて、CNN（畳み込みニューラルネットワーク）とRNN（再帰型ニューラルネットワーク）はその双璧とも言えよう。ここでは、RNNのうちのLSTM（Long short-term memory）の応用について検討する。

　LSTMと言えば、時系列のデータ。株価、為替、乗客数、売り上げ等々、予測したいものはいくらでもある。ここでは、大学らしいデータでやってみたい。公開されている「KAIT学内電力使用状況」のデータを対象として検討した。Keras（on TensorFlow）を使用した。

■簡単な考察

1. 約1日半の実測データのうちの６割を使って学習。（夏期休業中の金曜と土曜のため、電力消費は少ない。）
2. ここでの学習とは、時点tでの実測値とそれ以前の連続nステップ（ここではn=2）前のデータから成る順序付きセットを、（t+1）での実測値に結び付けることである。それらの結び付けを全部（可能な限り正確に）反映するマシンLSTM（ニューラルネットワーク）を作成することである。
3. その学習結果にしたがって予測を行う。上図のとおり、学習が進む（epochが増える）にしたがって、良い予測結果が得られている。
4. ただし、誤解がありそうである。評価領域での予測は、何もデータを与えずに予測するのではない。あくまで、学習済みLSTMを使って、②で示した時刻tまでの実測値のセットから次のステップ（t+1）での値を予測する。
5. 今回の時間刻みは30分毎にしてある。したがって、基本的には30分後を予測する。しかし、その予測がかなり妥当であれば、それを元にさらにその先を自動的に予測することも可能かもしれない。
6. 学習用領域における、学習済みのLSTMを用いた予測結果は、当然、評価領域での予測よりも良好になるはず。

グラフィカルな人工知能（ニューラルネットワーク）作成ツール

　すでに試された方もいるかも知れませんが、私が「日経ソフトウェア 2017年9月号」の記事で、これは！と目にとまったものがあります。Simbrainというソフト、グラフィカルに、通常のコーディング無しに、ニューラルネットワークを構成するもののようです。

　誤差逆伝播（バックプロパゲーション）もできるようです。興味深いです。早速、記事の内容をトレースしてみました。引き続き、記事には載っていないが、非線形分離問題としてポピュラーなXORを構成し、学習させてみました。まだ、全然深く調べていないので、一見うまくいっているようですが、これが正しいネットワークであり、結果も妥当なのがまだ確信は持てません。

グラフィカルに作成したニューラルネットワークで、XORを学習させる

　しかし、人工知能となる（ディープな）ニューラルネットワークをこんなに簡単に構成できて、学習させることができるならば、そのインパクトは大きいのではないでしょうか。今後、さらに調査し、応用を深めたくなります！

マルチコア並列の性能を見る

　学生の皆さんが持っているノートPCですが、マルチコアになっています。それを意識している学生諸君はほとんどいないように思われます。実質４台のCPU（正確には、多くの場合、２コア×２ハイパースレッディング）が載っているのに！

　情報工学応用ユニット１のある実験のある課題では、ここに焦点を当てました。通常のプログラミング言語で、この４台のCPUを使った並列プログラムを書いて動かすことはとても困難です。しかし、Java SE8の並列ストリームとラムダ式を使うと、非常に簡単にそのような並列プログラムを作成し、動かすことができます。

　この実験での課題は、「見出し語が約12,000語の英語辞書」を使って、「約1,000語のミススペル語を正しいスペルに直せ！」という問題です。Windowsの標準機能である「リソースモニタ」を使うと、以下のような綺麗なCPU稼働状況が分かります。解答した学生諸君の中には、もっときれいな（逐次と並列の対比がより明確な）図を提出した人もいます。

[図が小さいので、拡大してご覧下さい]

IT夢コン2017のピア賞 投票快速集計アプリ

　今年も、本学で開催の「IT夢コン2017」の最終選考会が迫ってきました。生徒同士が、互いに発表ポスタを評価して決める「ピア賞」もあります。その投票の集計ですが、当日、スケジュールがタイトであるため、すばやく、確実に行う必要があります。そこで、作成したのが、下図のAndroid用「快速集計アプリ」です。

　以下の画面のデータは、テスト用の架空のデータです。模擬投票の結果は、投票者数=52名、投票総数=133票、第一位は35番の作品、第二位は31番の作品となりました。

　さて、このAndroidアプリ、大した機能はなく、トリビアルな処理に見えます。確かにそうですが、そうでもないところも少しあります。このアプリ設計での留意点を列挙します。

• このようなユーザインタフェースを持つAndroidアプリの作成は、MIT App Inventorの得意とするところであります。特に、画面タッチ。その効率的開発の恩恵を受けます。
• 多数のボタンがあります。それを効率良く配置し、ボタンに対する反応（アクション）も効率良く書きたい。
• 集計中に、不意に中断せざるを得ないかも知れない。中断と再開を内部データベースを使って実現する。
• 集計中に、画面を不意に触れてしまい、カウントがダメになることを防ぎたい。そのために、ボタンの「クリック」ではなく「ロングクリック」による反応を用いる。
• 来年度も使いたい。また、今年度も直前に何かデータの修正があるかも知れない。したがって、ポスター作品データは、プログラムに組み込むのではなく、テキストファイル（スマホのSDカードに保存）に記載する。
• 想定投票者50名、投票総数150票で、結果をえるまでに５分と見積もる。上記の「ロングクリック」で６割ほど時間が増すが、確実性を重視します。

スマホでマルチエージェントモデリング！

　社会現象、物理化学現象、生物／生命現象、コンピュータアルゴリズム等をモデル化し、シミュレーションによってその現象を解析したり、予測を行うための手法として、「マルチエージェントモデリング」があります。そのためのソフトウェアはいくつかあるのですが、NetLogo（無償）が非常に有力なものの一つです。NetLogoは昨年から、メニューやテキストに日本語が使えるようになり、いっそう身近なものになりました。

　さらに、すばらしい機能があります。これまでのマルチエージェントモデルはPCの上で動く重たい処理が付きものでした。しかし、ここに来て、スマホでも事実上実行できるようになりました！（正確に言えば）Web版が公開されています。PCには、何も専用ソフトは要らず、ブラウザからNetLogoのソースファイルを指定すれば、スマートフォンの画面でも実行できるのです。もちろん、（画面が小さくちょっとやりにくいが）その場で、NetLogoソースコードも編集できます。

　これで何か新しい方向が生まれそうです。詳しくは言えませんが、例えば、
→「スマホのカメラで現場を撮影する」
→「人工知能による画像解析で被写体の特徴をテキストで得る」
→「マルチエージェントモデルのパラメータにそれ反映させる」
→「その場で、スマホの画面で実行させる」

というような使い方も起こるだろう。

有名な「羊」と「オオカミ」の生存のダイナミクス：Androidスマホでの実行

「環境にどのように影響されるか」の私のモデリング：Androidスマホでの実行

人工知能アプリの開発体験講座

オープンキャンパスや、受験生向けの講座では、「人工知能」を利用したアプリ開発が多分注目されるものの一つでしょう。単に、人工知能関係アプリをダウンロードして使うだけではありません。自分で自分なりにアプリケーションを組み立てるのです。（人工知能サービス、人工知能のためのAPIは使いますが。）

ここでは、MicrosoftのImage Recognizerという人工知能サービスと、Androidのアプリケーション開発環境であるThunkableを使ってアプリを作成します。単に作成するだけではなく、フィールドワークとディスカッションもセットにします。

◎step1: １時間くらいで、下図のようなアプリを作ります！できます！

◎step2: この「人工知能アプリ」を持って、学内を撮影してもらいます。

◎step3: 人工知能の認識結果に対して、生徒の皆さんに評点を付けてもらいます。

◎step4: それを画像とともに、Dropboxへ格納して皆で共有できるようにします。。

◎step5: 研究室へ戻って、ディスカッションしましょう。どんな認識が得意なのか。

以下に、プロトタイプをテストした際の、学内の風景などの認識の具合を示します。例えば、「野球場のクローズアップ：a closeup of a bseball field」という認識結果には、私は満点の100点を与えました！