植物に関する自由記述のJSON化とJavaラムダ式とストリーム（A）

本記事は、（その３）の続編ですが、少しタイトルを変更しました。

■今回の問題設定

　参考資料[1]には、植物を見つけるための１行記述が2,965行（ただしこのうち849行は別名）掲載されています。すなわち、実質約2,100種の植物が掲載されています。そのうちの２例を図１に示します。ここで、例えば、「葉に"楕円"を含み、花に"白"を含む植物」と、そうではなく「果に"楕円"を含み、花に"白"を含む植物」を見つけたいとします。

　単にキーワードとして"楕円"や"白"を含む行を探索するのでは、明らかに妥当な結果が得られません。そのため、自由記述文に形態素解析と係り受け解析を施し、それを基に適切にJSONテキストを生成し、それを使って探索すべきということになりました。

■係り受け解析とそれに基づくJSON化は容易か？

　上記のようにして、係り受け解析結果をJSON化することは、実際に行ってみるとそう簡単ではありませんでした。それは、係り受け解析結果が、原文の意味とは異なるケースが少なからずあるからです。その多くの場合、原文に句読点を補う（１文に含まれる複数の単文の区切りを明確にする）こと等で解決しますが、時にはどうしても原文を変更せざるを得ませんでした。その作業は、１行づつ人手で確認しながら進める必要がありました。約3,000行ありますので、１日100行づつ根気強く、確認変更作業を進めています。約１ヶ月かかりますが、まもなく完了します!

　自由に書かれた文の自然言語解析には色々な困難があります。係り受け解析も、簡単なルールだけでは処理仕切れず、機械学習を行っているはずです。人工知能を搭載して、華々しく街へ繰り出した自動運転車もすでに死亡事故を何件か起こしています。学習データの周到な準備は必然ですし、人手による評価修正のフィードバックが必要な状況は続くでしょう。今回のように、3,000件くらいやってみてようやく、自然言語処理の本質が少し見えた来たような気がします。

■Javaで自然言語解析する良さがここに現れた

　このように、まだ試行途中なのですが、これまでの作業結果をもとに、上記で設定した問題をやってみました。すなわち、以下の探索を可能にするJavaプログラムを作成しました。

　(1)葉に"楕円"を含み、花に"白"を含む植物

　(2)果に"楕円"を含み、花に"白"を含む植物

　詳しいことは略しますが、図２において、jsonStreamは、生成したJSONテキストをストリーム（stream）化したものです。このストリームの中味は、JSONオブジェクトです。そうなると、ラムダ式を使ったfilterや終端処理としてのforEachの出番です！Javaを使った自然言語処理の良さがここにも現れた気がします。

■生成したJSONテキストの概要

　未完成ですが、図３のようなJSONテキストが、係り受け解析結果から自動生成されましたので、ご参考までにその一部をご紹介します。(このJSONテキストは、整形すると全体で約55,000行になります。小生の研究用に生成したものですので、当面、公開はしません。)

参考資料

[1] 渡辺 坦：植物の名前を探しやすいデジタル植物写真集

http://plantidentifier.ec-net.jp