蚊の不快な"ぶうーん"音をスマホで再現（その１）

　放送大学をテレビで見ていたら、「音の波の初歩」に関する講義でした。２つの音の周波数が僅かに（１Hzでも、10Hzでも）異なっている場合、その合成音はうねりのあるものとなる、とのことでした。昔、習ったことがあったはずですが。一例として、蚊のあの不快な｢ぷーん、ぷーん｣といううねり音もこれによって生じるとのことです。

　それは、MatLabなどを使えば、綺麗なグラフと共に簡単にシミュレーションできると思いますが、ここではスマホ用に、自分好みのデザインのアプリを作成して、それを確認したいと思います。それが、私流のやり方？

　そんなスマホアプリを素早く作るには、何と言ってもMIT App Inventorの利用です。以下がそのアプリですが、想定した現象は一通り再現できたと思います。蚊の左右の羽の周波数とその合成周波数の表示等は自作しましたが、音を鳴らすのは、参考資料[1]にあるExtensionを利用させていただきました。 開始時の両羽の振動の位相は、自然界を反映して同じではありません。

　本アプリ、単機能のミニアプリに過ぎませんが、参考資料[2]のとおり置いてあります。もしも試してみたいと思われる方はどうぞお使い下さい。

参考資料
[1] ToneGenerator Extension (Thunkable)
https://community.thunkable.com/t/extension-tonegenerator-beep-frequency-duration/7978
[2] 本アプリは以下にあります（Android用）
https://www.dropbox.com/s/5uw1u29d38r3m93/mosquitoX.apk?dl=0
（Androidで、.apkはプレビューできません、となっても、下辺中央のボタンを押してパッケージインストーラを起動すればインストールできるはずです。）

散歩で見つけた昆虫をGoogle Lensで調べる（24連勝）

[トンボの羽の巧みなしくみについて書きました。(2019-9-10)]ここです。
[その後の追加を含めて24連勝です（2019/8/24〜9/15）]

　残暑厳しい日が続いています。それでも、本日（2019-8-24）は少しだけ涼しい風が吹きました。近所へ散歩に出かけて、身近な昆虫をいくつか見つけました。Google Lensについては、すでに２つほど記事を書いていますが、今回も、これらの昆虫をGoogle Lensで調べてみました。撮影した昆虫は、以下の通りです。（ただし、最初の３種以外は8/25以降に撮影）

1. クサギカメムシ（カメムシかな？樹皮に溶け込んで目立たない。）
2. カミキリムシ（カミキリかな？と思いながら。）
3. アブラゼミ（よく見かけるセミだが...と思いながら。）
4. ミンミンゼミ（羽が透明で、頭の淡い緑が特徴らしい。）
5. セミの抜け殻（抜け殻ですが、ここに特別参加します。）
6. チョウセンカマキリ（誰がみてもカマキリ...と思いながら。）
7. シオカラトンボ（枯れ草のうえで見にくいが分かるかな？）
8. ハグロトンボ（ビロードのような黒色羽が特徴）
9. ミヤマアカネ（羽の先の方にバンド状の模様）
10. アキアカネ（羽全体が透明で、バンド模様は無し）
11. オニヤンマ（待望のオニヤンマに遭遇！）
12. マメコガネ（小さい。輝きがある。）
13. アメリカミズアブ（アブかな？近づいてみると輝いていた。）
14. ヤマトシジミ（ヒナギクもあるが、人間と同様、蝶のほうに目が行く。）
15. ベニシジミ（これもヒナギクよりも蝶のほうに目が行く。）
16. モンキチョウ（よくみかける黄色い蝶）
17. コウラナミジャノメ（ジャノメ蝶）
18. アカボシゴマダラ（後翅の赤斑紋が目立つ蝶）
19. ショウリョウバッタ（草に紛れてとてもわかりにくいのだが）
20. バッタ（この写真からバッタが認識できていることが素晴らしい。）
21. ヒナバッタ（逃げ足が速いので撮影に苦労する）
22. トノサマバッタ（頭から首にかけて緑の鎧のようなものがある）
23. ダイサギ（昆虫じゃないけど、仲間に入れて！２羽のうちの１羽）
24. アオサギ（昆虫じゃないけど、仲間に入れて！２羽のうちのもう１羽）

住宅街にもこんな樹木はよくあります。そこには昆虫たちがやってくる。

もしも、少しでも水場があればさらに豊かな世界となる。

「スマホで撮影」→「その場でGoogle Lensで識別」→「表示されたWikipedia等で詳細を確認」という流れになります。以下のとおり、今回の撮影画像に関しては、非常に的確に識別されました！まさに動く昆虫図鑑となります。場合によっては、昆虫の種類（名前）が複数候補にあがることがあります。そして、その詳細情報は、Wikipedia以外のWebページであることもあります。最終的には、これらにより人間が判断することになるでしょう。

 

 

　今回の｢クサギカメムシ｣や｢アブラゼミ｣の場合、個体は樹木（樹皮）にすっかり溶け込んでおり、また、｢ハグロトンボ｣は水面の草に紛れて、人間の目にも識別しにくいですが、Google Lensは見事に捕らえています！

　もちろん、どんな場合でもうまく識別できるとは限りません。この記事は学術論文ではありませんので、適合率や正解率などは述べていません。Very goodな結果が得られたものだけを示しています。（と言っても、ほぼ100%近く正解です！）本稿から、スマホで身近に使える楽しさ、認識技術の素晴らしさを感じていただけるのではないかと思います。

【補足】
　上記のうちで後半のものは、｢スマホで撮影｣という表示があっても、実際はデジタルカメラ（４倍ズームレンズ付き）で撮影したものを含みます。それらは、適宜クリッピングした後にスマホへ取り込み、Google Lensを適用しました。

Google Lensによるリアルタイム画像認識

　先の記事は、Google Photoに格納された画像のGoogle Lensによる認識に関するものでした。実は、スマホのカメラで撮影して、リアルタイムにその画像を認識することもできます。（ただし、AndroidかiOSか、またOSのバージョンや搭載カメラによっても違いがあるようです。）

　猛暑が続いている毎日ですが、ふと見ると、ベランダにセミが舞い降りていました。早速スマホで撮影して、Google Lensでリアルタイムにそのセミの名前を得ることができました。下図の左側がそれです。｢アブラゼミ｣に違いありません。

　と思っていたら、そのセミが勝手にでんぐり返って動けなくなってしまいました。その仰向けの状態を撮影して、再度リアルタイム判定しました。 右側の図のとおり、結果はさきほどと同じく、｢ アブラゼミ｣でした。

　Google Lensは、あらゆる画像を大量に学習しているようです。向きや背景などによらずに認識できる頑強さがあります。ある物について詳しく調べようとする場合、まずその名前が分かることは重要です。名前が分かれば、さらに詳しい情報を検索する手段は色々あるからです。

【補足】
　これまで、画像からの植物の名前の特定と、セミの種類の特定をやってみました。最後に、写真の風景（撮影場所）は的確に判定できるかを試して見ました。結論としては、実に見事というほかありません。以下の例は、以前訪問したことのある、ボストン市内とMIT構内、ビクトリア（カナダ）、および、ある国内大学ですが、実際の写真の一部を切り取ってコピーして新たな画像としたものをGoogle Lensへ与えています。すなわち、GPSの位置情報などは含まれていません。しかし、判定結果はとても的確です。

　

　こうなると止まりません！もう一つやって見ます。MITメディアラボに展示されていたSaymour Papert（1970年代）によるLogo Turtleです。これは、Computational Thinking教育の象徴、原点とも言えるデバイスです。その写真をGoogle Lensに調べさせてみました。小さな説明パネルも写っていたのですが、テキスト情報によらずに画像だけで解析してもらうため、ここでは意図的にそれを除外して入力しました。

　以下の図のとおり、解析結果として候補はいくつか表示されたのですが、その中に、このLogo Turtleが２件見つかりました！２件とも、MITメディアラボの展示を撮影したものと思われます。

　この例のように、「半透明プラスチックの中に車輪のあるこの装置は何か？」を調べるのに、まず、Google Lensでいくつかの候補を得て、｢多分これじゃなか！｣と思える画像をクリックすることで、さらに詳細な情報へ行き着くことができます。

　小学生がいる場合、｢もう夏休みの宿題は済みましたか？｣

植物の写真１枚からその名前を特定できるか

　現在の人工知能技術（特にDeep Learning）では、例えば、動物の写真を与えると、｢鳥｣｢馬｣｢ゾウ｣などを識別可能でしょう。しかし、草や花などの植物の写真を与えた場合、その名前まで特定することはできるのでしょうか。

　すでにご存じかも知れませんが、スマートフォンのGoogle Photo / Google Lensを使うと、それが驚くほど的確にできることが分かりました。そこまで、AIによる画像認識は進んでいるのですね。実際にそれを確認してみたいと思います。

（表示の都合上、横向きにしてあります）

　渡辺 坦氏による資料[1]のWebサイトには、植物の色々な角度からの特徴を指定することによって、段階的にその植物の名前とその説明を探す手段が提供されています。そこには、約2,400種の植物の詳細な記述と多数の写真が掲載されています。今回、そのうちから、（ほぼ）ランダムに20種を選んで（聞いたことのない品種は除き）、写真を引用させていただきました。

　その20枚の写真を、Google Lensに与えて名前を判定させた結果を以下に示します。20枚のうち、実に18枚の写真については、正しい植物名が直ぐに得られました！すばらしいと思います。（ただし、正解18枚のうち、３枚は、第２候補か第３候補に正解がありました。）残り２枚は正確な名前は出ませんでしたが、情報としては有用なものが得られました。なお、この20種は、2,400種のうちではかなり名の知れた植物であり、Google Lens側での学習がかなりなされていると思われます。

　上図の判定結果のうちから、詳しい画面を２例、以下に示します。１枚の写真を与えただけで、植物の名称（および、そうと判断した根拠となる出典なども）が得られています。植物図鑑や関連Webページなども広く学習しているようです。名前の候補として表示された画像をクリックすると、詳細な情報のあるwebページへ行きます。

　これだけ素晴らしい結果が得られる背後には、膨大な画像の学習の蓄積があるはずです。ユーザの試行結果も当然、収集され学習に反映されているでしょう。このGoogle Lensは、もちろん、植物だけではなく、一般の物体などを対象にしているはずですから、その奥の深さを改めて感じます。

　最後に、植物ではなく、今が盛りの「セミ」の名前（種類）３つは判定できるでしょうか。「ミンミンゼミ」「クマゼミ」「アブラゼミ」の３枚の判定結果を示します。これも素晴らしいです。「ミンミンゼミ」については、入力したWikipediaの画像そのものが、第１候補としてヒットしました。これを見ると、Wikipediaも重要な情報源として学習されているようです。

参考資料

[1] 渡辺　坦、植物の名前を探しやすいデジタル植物写真集

http://plantidentifier.ec-net.jp

チョークアート：大学のオープンキャンパス案内

　大学のオープンキャンパスでの催し物案内には、きれいなカラーパネルやポスターなどが使われます。そのなかで、黒板とチョークを使ったチョークアートによるものも良いです。手作り感もあり、ひと味ちがいますね。

　この大学での｢在学生トークコーナー｣を案内するチョークアートですが、2016年と2019年のものがありました。３年間で着実に進化しているようです。