スマホアプリで「強化学習」を学ぶ魅力！

【what is this】最近の日経ソフトウェア誌に、「Pythonで強化学習を学ぶ」の解説記事がありました。丁寧に書かれていて分かりやすく、提供されているPythonプログラムも完全に動かすことができました。しかし、ここで留まらずに、理解をさらに深めるため、別のプラットフォーム（Androidスマホ）とプログラミング環境（MIT App Inventor）で、独自にそれを再構築してみました。

■ 解説記事：Pythonで「強化学習」を学ぶ
　まず、図１に示すのがこの記事です。全16ページに渡って、強化学習が非常に丁寧に解説されています。前半７ページでは、簡単な例題を使って強化学習の概念（Q-Learning）と具体的な動作が説明されています。後半９ページでは、Pythonでこれを実現する方法を説いています。コードの説明だけではなく、肝となるQ-Tableの学習則（学習率や割引率を含む）の解説が分かりやすく示されています。

　そして、何よりも嬉しいことに、提供されているPythonプログラム（４つのPythonファイルで合計約970行）が小生の環境でも問題なく、完全に動いたことです。図２はそれを示しています。

　素晴らしい！分かった気になる！でも本当にそうなのか。単にトレースしただけではないのか？という思いもあります。理解を本当に深めるのであれば、自分で、この解説の仕様に沿って、プログラムを独自に再構築するのがいいでしょう！ということで、それを実際にやってみました。

■ スマホアプリとして上記強化学習プログラムを独自に作る

　実は、小生は、上記のPythonコードの中味はほとんど読んでいません。にも拘わらず、図３に示すような、同等機能のスマホアプリを作成することができました。これは、この解説自体が素晴らしかったことに他なりません。MIT App Inventorを利用して開発しました。

■ スマホアプリの強化学習での「学習（訓練）」と「評価（実行）」

　詳細はここには書けませんが、このスマホアプリによる「学習」と「評価」を簡単に示します。まず、図４の(a)と(b)は、それぞれ、学習が不十分な場合と十分な場合に、タスクを実行した様子です。

　ここでは、ロボットの行動は、「右へ前進する」か「宝石を取る」のいずれかです。ロボットが緑色の宝石の位置と一致した時に「宝石を取る」ように学習（訓練）するわけです。図４(a)は、ロボットが宝石を得ることに失敗しています。なぜなら、学習が不十分であり、今の状況（赤枠）では、

Q-Tableの[宝石を取る行動価値, 右へ前進する行動価値] 

= [-0.71757, -1.01168]

となっており、ロボットがまだ宝石の位置にないのに、より行動価値が高い（すなわち、-0.71 > -1.01）と評価された「宝石を取る」行動を行ったためです。

　これに対して、図4(b)は、学習が十分に進んでいたため、Q-Tableの中味は正当なものになっており、ロボットは今ここで「宝石を取る」のではなく、宝石へ向かうことになります。

　そして、図５に示すように、ロボットはさらに宝石に近づき（途中の一歩の図示は省略）、位置が一致したところで、

Q-Tableの[宝石を取る行動価値, 右へ前進する行動価値] 

= [5.0, -1.9]

にしたがい、最終的に自信をもって（すなわち、5.0 > -1.9）、「宝石を取る」行動が成功しています。

　動作を確認するため、十分に学習済み（Q-Tableの内容が妥当になった）後の評価実行例を以下に示します。

■ スマホアプリで「強化学習」の意義
　Pythonプログラミング、もちろん良いでしょう。でも、スマホでアプリを開発するのならば、MIT App Inventorは非常に効率良く行えます。上記解説記事では、Q-Tableの実現に、Pythonの辞書型変数やnumpy配列を使っていますが、App Inventorでも同等のことが可能です。また、Pythonのmatplotlibほど高機能ではありませんが、図３に示したとおり、App Inventorでも折線グラフ（報酬の経緯）も描けています。

　スマホで、強化学習を実行し、その状況をグラフで可視化し、学習結果としてのQ-Tableの数値を確認し、評価のためのアニメーションも実行する。それらを、ボタン操作で、掌ですべてインタラクティブに行える。この魅力は大きなものと改めて感じます！

　例えば、図３で使用したハイパーパラメータを変えて学習させたい、という場合も、図６のように直ぐにその効果（収束速度や安定度など）をグラフで確認できます。

■ MIT App Inventorプログラムの複雑度
　上に述べたとおり、Pythonで約970行とほぼ同等のプログラムをMIT App Inventorで作成しました。それがどの程度の複雑度なのかを詳しく述べることは、ここではできませんが、プログラム全体（ブロック図）をご参考までに示します。小さくで中味は見えませんがご容赦下さい。

ちょっと惹かれるPython１行コード（その１）

【what is this】誰でも、短くて美しいコードに憧れます。参考文献[1]には、Pythonによる１行コード（Python One-Liners）の考え方と実例がたくさん載っています。それを参考に１行コードを２つほど書いてみました。

■例題：キノコの毒性に関するデータの学習と学習結果による予測
　機械学習の分類問題として、キノコを有毒か無毒かに分類することをやってみます。図１には、キノコの色（赤、青、黄）、笠の形（丸、角）、柄の長さ（長、短）、場所（地面、樹木）の特性によって、それが有毒か無毒かのデータ（参考文献[2]から引用）があります。これを機械学習によって学習させ、さらに、その学習データが正しく分類（予測）されたかどうかを確認します。

（注）上記データは現実のキノコにそのまま当てはまるものではなく、あくまで機械学習を学ぶために用意された仮想データです。従って、実際のキノコの毒性判定には利用しないでください。

■SVMとRandomForestの一行コード（学習と予測）
　２つの手法（SVM-サポートベクタマシンとRandomForest）によるPython１行コードとその予測結果を示します。図２は、SVMの場合です。Python numpy配列のスライシング（特性データと正解レベルを分離するため）を行い、学習（.fit）結果を予測（.predict）へ接続しています。確かに、素早く簡潔なコーディングとなりました。学習に用いたデータに対する予測結果は、正解率89%でした。９件のうち１件のみが誤まった判定となりましたが、こんな少ないデータでも良く予測できることが確認できました。

　次は、RandamForestによる場合です。こちらの結果は正解率100%でした。素晴らしい！やり方は、SVMの場合と同様です。

　なお、図１での特性データは数値で与えたが、日本語で与えたい場合は以下のようにして、別途用意した辞書型変数Dを使い、map（lambda式を使う）処理を施せばよい。以下の実行結果は、図３での実行結果と同じになります。

　上図の変数Yの計算は、以下のどちらでも良いでしょうが、２番目の方がちょっとだけ分かりやすいかもしれません。

　Y = np.array(list(map(lambda i : list(map(lambda j : D[j], i)), X)))

　Y = np.array(list(map(lambda i : [D[j] for j in i], X)))

■何のために１行コードを書くのか
　さて、参考文献[1]の最後に、以下のような叙述がありました。納得ですね。

Don't cram everything into a single line of code just to show off your one-liner superpower. Instead, why not use it to make existing codebases more readable by unraveling their most complex one-liners?

（単に何でもかんでも１行に詰め込むのではなく、複雑なコードを読みやすくするために！）

[参考文献]

[1] Christian Mayer, "Python One-Liners", No Starch  Press, 2020.

[2] 黒橋禎夫, "改訂版 自然言語処理", 放送大学教育振興会, 2020.

トランザクションデータのグループ化（JavaとPython）

    【what is this】トランザクションデータなど、複数のカラム（キー）からなるデータを、特定のいくつかのカラムについて、階層的にグループ化したい場合があります。JavaとPythonを使って、簡単な例で試してみます。

　本記事で扱う小さなデータ（csvファイル）とソースコード（JavaとNotebook形式Python）はこちらにありますので、よろしければお使い下さい。

■例題：トランザクションデータ（通貨取引）のグループ化
　何をしたいのかを、図１で説明します。図１(a)は、参考資料[1]のcsvデータを若干編集したものです。先頭行は、３つのカラム名（City, Currency, Value）を示しています。２行目以降のトランザクションを集約して、右側の(b)に示すように、取引所（City）でグループ化し、さらに通貨（Currency）毎の取引額（Value）の平均値を求めたい。この処理は、初歩的なプログラミングでも可能ではありますが、恐らく、込み入ったものになるでしょう。ここでは、分かりやすく、効率的なプログラムにしたいのです。

■JavaのStream、groupingByの利用
　図２に示したJavaプログラムは、StreamとCollectionのチュートリアルである参考資料[1]を参考にしています。まず、１〜2行目で上記のcsvデータを読み込み、３行目でトランザクションを３つのカラム対応のデータに分割しますが、データの先頭行は不要なので4行目のfilterで削除します。５行目では、各トランザクションに対するオブジェクトを生成しています。そのクラスの定義は(b)にあります。このオブジェクトのプロパティを利用して、６〜７行目で、Cityについてグループ化し、さらにCurrencyについて纏めてそれらの平均値を得ています。ストリームに対するgroupingByが２重に適用されているところがポイントです。ここで、例えば、「Tranz::getCity」は、トランザクションオブジェクトに対して、一斉にクラスTranzのメソッドを適用する（Cityデータを得る）ことを意味します。８〜11行目は結果の出力表示です。

　１〜7行目までの、２重のグループ化では、if文もforループ文も使われておらず、処理の流れを把握しやすいのが魅力です。実行結果は、図１(b)のようになります。

■ Pythonのpandas、groupbyの利用

　次に同じことを、資料[2]を参考にしてPythonでやってみます。グルーピングの考え方はJavaの場合と同じですが、Pythonでの記述量は、図２(a)のように大幅に少なくできます。実質１行（４〜５行目に渡る）で、右側の(b)の実行結果が得られます！素晴らしいですね。PythonのモジュールPandasを使っており、そのなかのgroupbyが効果的に働いています。そして、Javaの場合に切り捨てた先頭行のカラム名（City, Currency, Value）が、自動的に内部で生成されるオブジェクトに対応しています。

　このように、PythonのPandasは効率的プログラミングに貢献しています。しかしながら、これで全面的にPythonの勝利ということではないでしょう。Javaの場合は、明示的に生成したオブジェクトと一連の処理がstreamとして分かりやすいという捨てがたい魅力があります。また、JavaのStream（とそしてラムダ式）は、マルチコアマシン上での並列実行性能を高めるためにあるとも言われますので、大規模データ処理の場合の性能比較も楽しみになります。

[参考資料]

[1] Raoul-Gabriel Urma, "Java SE8ストリームを使用したデータ処理(パート1 & パート2)", Oracle.com/JavaMagazine, March/April, 2014.

[2] Soner Yıldırım, "3 Python Pandas Tricks for Efficient Data Analysis",

https://towardsdatascience.com/3-python-pandas-tricks-for-efficient-data-analysis-6324d013ef39