2018年8月29日水曜日

Deep Learningで岩田一男先生の英作文とGoogle翻訳を識別

 高校初級〜中級の英作文問題について、Prof. Iwata(故 岩田一男教授)の英作文テキストにある英文例とGoogle翻訳による英訳を比較して、その相違を少し調べました。Prof. Iwataを知っている若い人はあまりいないかも知れませんが、著名な英文学者で、英語教育でも有名でした。先生の以下の著書(40年位前に出版された)にある例題を対象としました。


次の2点を検討します。
(1)Google翻訳(和文→英文)結果の主観評価
(2)人工知能(Deep Learning)によるProf. IwataとGoogleの相違の評価

岩田一男先生の英作文とGoogle翻訳

岩田先生の本の例題(数百以上の英作文例)から、ランダムに50件を選択。その和文をGoogle翻訳して見ました。驚きました!50件のうちの12件は、Prof. IwataとGoogle翻訳の英文が完全に同じでした!その幾つかを以下に示します。

【Prof. IwataとGoogleの英文が完全一致した例(2018-8-29現在)】
●本当を言うと、私は彼といっしょに行きたくない。
 → To tell the truth, I do not want to go with him.
●もし私がきみなら、そんなことは言わないのに。
 → If I were you, I would not say such a thing.
●なお悪いことに、雨が降り出した。
 → To make matters worse, it began to rain.
● 彼は旅券をホテルの部屋に置き忘れたにちがいない。
 → He must have left his passport in the hotel room.
(以下、8件は省略)

 異なる英文となった残り38件のGoogle翻訳も全て妥当なものと思われます。少なくとも中学校〜高校レベルの英作文では、Google翻訳性能は驚異的とも言えます。

AIによって両者の相違を認識できないか?

別記事で述べた、Deep Learning for Kidsでは、画像認識の他にテキスト認識も対象としています。それを使います。両者(Prof. Iwataの英文とGoogle翻訳結果の英文)に少しでも相違があった38件をそれぞれ、Prof. IwataとGoogleというラベルを付けて分類して、学習させます。

和文38件の英訳をそれぞれのラベルに入れる

前回記事(画像認識)の場合と同様に、これをIBM Watsonにかけると数分で学習結果が返ってきました。上に述べた50件とは別に、岩田先生の本から、新たに例題を選択し、その英文とGoogle翻訳英文をテスト(評価)にかけてみました。その一部を以下に示します。

両者の英文対して、何らかの違いをAIは見つけたようです!的中しましたね!


 もう一例あげます。今度は、若干低い確度ではありますが、Google翻訳の結果も、Prof. Iwataのものと判定されました。それだけ、Google翻訳は優れているということになるでしょうか。



 まだまだ学習データの英文の個数は不足だと思います。また、定量的な評価をするには至っていません。しかしながら、何か可能性を秘めているように思われます。


0 件のコメント:

コメントを投稿