Attentionを用いたニューラル日英翻訳の実験（続）

 【what is this】Attention機能を利用した日英翻訳実験において、コーパスサイズ（入力データ量）を前回の３倍（約１万件→３万件）に増やしたところ、全検査データに対して100%正解翻訳出力するまでのepoch数は1/3（27回→8回）に激減した。

■何をしたのか
　前回の実験結果について、かっての同僚の先生から、「入力データを1/3にしたらどうなる？」とのコメントを戴きました。これがヒントになりました。でも、1/3にしてみるのではなく、前回は本来の1/3でやったのだ、と考えました。したがって、1/3にするのではなく、３倍にして観測する方が意味があると考えました。つまり、本来は３倍のデータでやるべきだったと考え直しました。

■Attentionの性能をあらためて実感
　詳細は略して結論を述べます。前回の日本語の（したがって英語の方も）語彙を少し増やして、コーパスサイズを10,368件から31,680件に３倍化しました。それぞれで、訓練用に8割、検査用に2割を使って学習させた結果が以下の図です。

　検査データの全てに対して正解英文を出力するまでに、前回27epochs、今回8epochsという著しい収束性能が明らかとなりました。小さなコーパスを何回も辿るよりも、大きなコーパスを使えば少ない走査で済む、という妥当な結果だと考えます。いずれにしても、Attention機能の素晴らしさを再確認できたように感じます。

　今回の収束状況の一例を示します。以下の図は、和文「夏に丸い赤い花がまばらに咲く」に対する翻訳状況です。epoch=1では、１単語が認識されているだけですが、epoch=2では、英単語は間違っていますがすでに英文の文型としてOKとなっています。つづくepoch=5では正解の英訳に達しました。