Googleレンズに画像全体認識オプションを付けて欲しい

　まだまだ暑さが続く。すっかり少なくなってしまった水田だが、近所に僅かに残っているところがある。稲穂もだいぶ成長して垂れ下がり始めた。農家としては鳥避けを本格化させなければならない。案山子（カカシ）の登場だ。

　この風景、鳥たちにはどのように映るのだろうか。色んな種類の案山子がいるので、近づき難いのか、それとも、慣れっこになってしまい、あまり怖がらないのか。では、ちょっと飛躍するが、現代のAI（人工知能）がこれらの風景を見た場合、どのように認識するのだろうか。

　AIと言っても色々あるので、何とも言えないが、スマホから最も手軽に使える画像認識用のGoogleレンズの結果は、まだまだだなあ、という感じだ。こちらとしては、個々の案山子の種類を言って欲しいのではなく、「稲穂が実り始めた田んぼに出現した案山子」と言って欲しかったのだが、以下のような結果が...

　(a)人形かかしの風景 →案山子の着ている服が29,700円

　(b)大きな目玉型かかしの風景→草刈り機

　(c)大きな鷲型のかかしの風景→鳥避けカイト鷹

　実は、「稲穂が実り始めた田んぼに出現した案山子」のように、画像からその内容（状況

）の説明文を自動生成する技術はすでにあるのだ。だから、言いたいのは、Googleレンズには、「画像に写っている主要な物の特定」か、または、「画像全体の雰囲気や状況の説明」かを切り替えられるオプションを付けて欲しい！

散歩で見つけた昆虫をGoogle Lensで調べる（2020年度）

【趣旨】身近な昆虫等をスマホで撮影して、その名前をGoogle Lensで見つけましょう！

===============================================

ようやく梅雨が明け、本格的な夏のおとづれ。昆虫たちの動きも活発に！

昨年度（2019年度）は、以下の様に、24連勝でした！今年も続けます。

→ 散歩で見つけた昆虫をGoogle Lensで調べる（24連勝）

===============================================

25. アオスジアゲハ（ちょっと遠くから撮影のため、画像全体に占める蝶は非常に小さいのですが、特徴的な模様を見事に認識しているようです！）

　この例は、AIの本質的な特性を考える好例かもしれません。あなた（AI）は、この画像のどこに興味があるのですか？自分で判断してよいですよ。私（人間）は、私自身の興味と合致していれば受け入れるし、そうでないなら棄却しますから。

26. ハラビロカマキリ（かなり攻撃的な昆虫ですね。腹部を強く反り返させるこのポーズは、幼虫によく見られるようです。）

27. イトトンボ（美しい。玉の様な眼、赤み帯びた黄金の背、精密な縁紋と翅脈、輝く青銅色の細い胴体、軽やかなこの姿勢、どこからきたものなのでしょうか。もう、Google Lensの結果は要りません。ただただ、この画像を眺めるだけで十分です。）

    美しくも悲しい出来事が。There are things I don't want to say. Two of the three legs on the left side of this dragonfly are missing for some reason. Another dragonfly in the picture below has three legs normally on one side. Nature is in a harsh environment. However, this degree of damage will not affect survival. Good luck!

散歩で見つけた昆虫をGoogle Lensで調べる（24連勝）

[トンボの羽の巧みなしくみについて書きました。(2019-9-10)]ここです。
[その後の追加を含めて24連勝です（2019/8/24〜9/15）]

　残暑厳しい日が続いています。それでも、本日（2019-8-24）は少しだけ涼しい風が吹きました。近所へ散歩に出かけて、身近な昆虫をいくつか見つけました。Google Lensについては、すでに２つほど記事を書いていますが、今回も、これらの昆虫をGoogle Lensで調べてみました。撮影した昆虫は、以下の通りです。（ただし、最初の３種以外は8/25以降に撮影）

1. クサギカメムシ（カメムシかな？樹皮に溶け込んで目立たない。）
2. カミキリムシ（カミキリかな？と思いながら。）
3. アブラゼミ（よく見かけるセミだが...と思いながら。）
4. ミンミンゼミ（羽が透明で、頭の淡い緑が特徴らしい。）
5. セミの抜け殻（抜け殻ですが、ここに特別参加します。）
6. チョウセンカマキリ（誰がみてもカマキリ...と思いながら。）
7. シオカラトンボ（枯れ草のうえで見にくいが分かるかな？）
8. ハグロトンボ（ビロードのような黒色羽が特徴）
9. ミヤマアカネ（羽の先の方にバンド状の模様）
10. アキアカネ（羽全体が透明で、バンド模様は無し）
11. オニヤンマ（待望のオニヤンマに遭遇！）
12. マメコガネ（小さい。輝きがある。）
13. アメリカミズアブ（アブかな？近づいてみると輝いていた。）
14. ヤマトシジミ（ヒナギクもあるが、人間と同様、蝶のほうに目が行く。）
15. ベニシジミ（これもヒナギクよりも蝶のほうに目が行く。）
16. モンキチョウ（よくみかける黄色い蝶）
17. コウラナミジャノメ（ジャノメ蝶）
18. アカボシゴマダラ（後翅の赤斑紋が目立つ蝶）
19. ショウリョウバッタ（草に紛れてとてもわかりにくいのだが）
20. バッタ（この写真からバッタが認識できていることが素晴らしい。）
21. ヒナバッタ（逃げ足が速いので撮影に苦労する）
22. トノサマバッタ（頭から首にかけて緑の鎧のようなものがある）
23. ダイサギ（昆虫じゃないけど、仲間に入れて！２羽のうちの１羽）
24. アオサギ（昆虫じゃないけど、仲間に入れて！２羽のうちのもう１羽）

住宅街にもこんな樹木はよくあります。そこには昆虫たちがやってくる。

もしも、少しでも水場があればさらに豊かな世界となる。

「スマホで撮影」→「その場でGoogle Lensで識別」→「表示されたWikipedia等で詳細を確認」という流れになります。以下のとおり、今回の撮影画像に関しては、非常に的確に識別されました！まさに動く昆虫図鑑となります。場合によっては、昆虫の種類（名前）が複数候補にあがることがあります。そして、その詳細情報は、Wikipedia以外のWebページであることもあります。最終的には、これらにより人間が判断することになるでしょう。

 

 

　今回の｢クサギカメムシ｣や｢アブラゼミ｣の場合、個体は樹木（樹皮）にすっかり溶け込んでおり、また、｢ハグロトンボ｣は水面の草に紛れて、人間の目にも識別しにくいですが、Google Lensは見事に捕らえています！

　もちろん、どんな場合でもうまく識別できるとは限りません。この記事は学術論文ではありませんので、適合率や正解率などは述べていません。Very goodな結果が得られたものだけを示しています。（と言っても、ほぼ100%近く正解です！）本稿から、スマホで身近に使える楽しさ、認識技術の素晴らしさを感じていただけるのではないかと思います。

【補足】
　上記のうちで後半のものは、｢スマホで撮影｣という表示があっても、実際はデジタルカメラ（４倍ズームレンズ付き）で撮影したものを含みます。それらは、適宜クリッピングした後にスマホへ取り込み、Google Lensを適用しました。

Google Lensによるリアルタイム画像認識

　先の記事は、Google Photoに格納された画像のGoogle Lensによる認識に関するものでした。実は、スマホのカメラで撮影して、リアルタイムにその画像を認識することもできます。（ただし、AndroidかiOSか、またOSのバージョンや搭載カメラによっても違いがあるようです。）

　猛暑が続いている毎日ですが、ふと見ると、ベランダにセミが舞い降りていました。早速スマホで撮影して、Google Lensでリアルタイムにそのセミの名前を得ることができました。下図の左側がそれです。｢アブラゼミ｣に違いありません。

　と思っていたら、そのセミが勝手にでんぐり返って動けなくなってしまいました。その仰向けの状態を撮影して、再度リアルタイム判定しました。 右側の図のとおり、結果はさきほどと同じく、｢ アブラゼミ｣でした。

　Google Lensは、あらゆる画像を大量に学習しているようです。向きや背景などによらずに認識できる頑強さがあります。ある物について詳しく調べようとする場合、まずその名前が分かることは重要です。名前が分かれば、さらに詳しい情報を検索する手段は色々あるからです。

【補足】
　これまで、画像からの植物の名前の特定と、セミの種類の特定をやってみました。最後に、写真の風景（撮影場所）は的確に判定できるかを試して見ました。結論としては、実に見事というほかありません。以下の例は、以前訪問したことのある、ボストン市内とMIT構内、ビクトリア（カナダ）、および、ある国内大学ですが、実際の写真の一部を切り取ってコピーして新たな画像としたものをGoogle Lensへ与えています。すなわち、GPSの位置情報などは含まれていません。しかし、判定結果はとても的確です。

　

　こうなると止まりません！もう一つやって見ます。MITメディアラボに展示されていたSaymour Papert（1970年代）によるLogo Turtleです。これは、Computational Thinking教育の象徴、原点とも言えるデバイスです。その写真をGoogle Lensに調べさせてみました。小さな説明パネルも写っていたのですが、テキスト情報によらずに画像だけで解析してもらうため、ここでは意図的にそれを除外して入力しました。

　以下の図のとおり、解析結果として候補はいくつか表示されたのですが、その中に、このLogo Turtleが２件見つかりました！２件とも、MITメディアラボの展示を撮影したものと思われます。

　この例のように、「半透明プラスチックの中に車輪のあるこの装置は何か？」を調べるのに、まず、Google Lensでいくつかの候補を得て、｢多分これじゃなか！｣と思える画像をクリックすることで、さらに詳細な情報へ行き着くことができます。

　小学生がいる場合、｢もう夏休みの宿題は済みましたか？｣