2021年4月29日木曜日

ゴールデンウィークだが、家で山の景色を楽しむ

今年も、5月のゴールデンウィークが始まりました。本来であれば、山へでも出かけたいところですが、このコロナ禍では、遠くへの旅行もかないません。しばし、家にいて、自作のAndroidアプリで懐かしい山の姿を(ほぼリアルタイムに)見て、気を紛らわせています。本日(4月29日)は、こちらはあいにくの雨模様ですが、北海道北部は晴れ渡っているようです。そこへ行って、空気を吸いたい。

利尻島-沓形から(残雪が美しい)

対岸の礼文島から(雲や霧が多いので、頂上まで見えるのは希)


2021年4月24日土曜日

国立国語研究所 学術情報リポジトリに論文が登録されました

以前のブログ記事にも書きましたが、国立国語研究所の「言語資源活用ワークショップ2020」で発表した以下の論文が、同所学術情報リポジトリに登録され,DOIが付与されました。(ワークショップ講演論文集全体がリポジトリに登録された結果、そうなったにすぎませんが。)

山本富士男:植物に関する自由形式説明文からのJSON形式テキストの自動生成

https://repository.ninjal.ac.jp/records/3167

(info:doi/10.15084/00003151)

小生は元々、コンピュータソフトウェアなどを専門としてきましたが、近年の自然言語処理(特に機械学習を用いた)に興味を持ち、基本的な事項を学んできました。本論文は、その過程で得た知見に基づいて纏めたひとつの拙論ですが、これを機にさらに深めて行きたいと考えています。


2021年4月17日土曜日

口形から「あ/い/う/え/お/閉」を識別(補足)

先の記事の補足です。

「あ、い、う、え、お、X」の6種類の口形が、awbとcwaという2つの特徴量によって、かなり明確に分離できるという実験結果を先に示しました。今回は、これをより明確にリアルタイムに確認するために、アプリを若干改訂しました。詳しくは、下図の中の説明文をご覧下さい。

(1)上段のボタンを押す、(2)「続行」を押す、(3)その母音を発話、(4)自動プロット

(注)本件は、母音の単独の口形を識別するものであり、単語の発話での連続口形の認識について述べたものではありません。

2021年4月12日月曜日

ML4K(Machine Learning for Kids)で学習済みモデルを利用

  【what is this】ML4K(Machine Learning for Kids)は、機械学習を利用したアプリケーションの作成を容易にするものです。このブログでもいくつかご紹介してきました。今回は、その後のさらなる発展状況の短いサーベイです。

■Kidsは大学生も含む?ので、遠慮なく使おう!
 ML4KのKidsというのは、小学校低学年くらいと思っていました。しかし、ちょっとレベルが高いのでは?という内容も含まれています。では、Kidsって、何歳までなのか?調べて見ると、実は一般に、子供、若者、初心者の意味で使われており、親しみを込めて(あるいは少し見下げて)若者を指すらしい。もちろん、大学生も含むようです。実際に、"英辞郎on the web Pro"には、以下のような例文もありました。

    He is still acting like a college kid. ->あの子は行動がまだ大学生のようですね。
    too expensive for college kids ->学生には高過ぎる
    As kids reach high school, college, and so on ->高校、大学、社会人と成長するにつれ

 ですから、大学生も、自分に必要なAIアプリを簡単に作りたい場合は、遠慮なく利用してはどうでしょうか。それで研究が促進できれば素晴らしいです。

■ML4Kで使えるScratch3用のAI拡張機能(学習済みモデル)
 ML4Kは、もともと、IBM WatsonのAI機能をラップして使えるようにしていました。最近はさらに進化して、図1に示すように、色々なAI関連の学習済みモデルをScratch3で使えるようにしています。すなわち、顔や手や身体の状態と動作を認識するFace, Hand, Pose detectionなどが含まれます。
 また、自然言語処理分野では、Toxicity(好ましくない、不適切な表現)の認識などもあります。さらに、Pythonをある程度できる人は、TensorFlowを使った自分用のモデルを作成してここで使えるようにもできます。Pythonを使わなくても、GoogleのTeachable Machineで非常に簡単に独自モデルを作成することも含まれています。


■Hand detectionを使って指の折り方で数値を認識する
 上記のように、利用できる学習済みモデルは多いのですが、ここでは、「Hand detectionを使って指の折り方で数値を認識」をやってみます。実は、この課題は、Media Pipe Handsを利用してPythonでやったものです。それと同じことを、ML4Kの使い勝手を確認するために行いました。ただし、Pythonの場合は、0〜31まででしたが、今回は簡単にして、0, 1, 2だけにしてあります。もちろん、31までやることも可能ですが。
 図2は、これを実現したScratch3プログラムの主要部です。学習と予測(認識)の両方が含まれています。

 学習に必要なラベル付きデータは図3のようなものです。内容は、親指の先端と付け根、人差し指の先端と付け根などのポイントの座標値の組を収集したものになっています。例えば、親指だけを折った場合は、ボタン"1"を押すことで、図2のプログラム中のラベル1に対するブロックが反応して、図3のラベル"1"の枠に、その時点の指の座標値が自動的に格納されます。このように各ラベルのデータが揃ったところで、あるボタンを押すと(自動的に IBM Watsonが働き)学習が行われます。

 学習が済んだ後に、改めてカメラに向かって指を折り、図1の「予測(認識)」ブロックを起動させます。すると、図4に示すような認識結果がえられました。図では、"1"と"2"がそれぞれ正しく認識されています。



■感想 
 AIの教育を支える環境は種々あると思いますが、このML4Kは、大学生レベルの人にも、すばやく自分のアイディアを実現するプロトタイピングに大いに役立つのではないでしょうか。その後、本格的な課題に取り組む場合は、ここでの経験が生きるはずです。また、低学年のAI教育において、少しでも各自のアイディアを取り入れた演習をしやすくなるように思われます。

2021年4月7日水曜日

Identify the position from the key point number in Facemesh

This article is a sequel to "Using the MIT App Inventor Facemesh Extension". In Facemesh, the key points of the face are numbered from 1 to 450, and the map that associates the number with the position in the face is provided by Google on GitHub. However, at present, this map does not show the correct position in the face (probably due to version upgrade). Therefore, I made a tool to get the correspondence between the number and the actual position.

Most desirable is to get that number by touching a Facemesh key point. However, there are 450 points in total, including dense parts, so even if it is enlarged, it is difficult to operate it on the screen of the smartphone. Therefore, as a second method, I decided to search for the necessary key points while increasing or decreasing the number. In this case, a partial map that is already known (like the handwritten map in Fig. 1) is useful.

In the Fig.1, start from the specified value (255 in the figure), and increase or decrease the number with the "+" and "-" buttons. This makes it easy to search around 255, for example. In this example, the red dot for number 256 is clearly visible among the green keypoints. This app also uses the Facemesh extension from MIT App Inventor. Fig.2 shows the main parts of the program. I won't explain it in detail, but it's fairly easy to make because it uses Ball, which is an animation function of App Inventor.

In fact, in the "mask wearing" shown in the previous task [Exercise-1], the key points that form the periphery of the mask were acquired by the above method.

2021年4月5日月曜日

口形から「あ/い/う/え/お/閉」を識別

 【what is this】MIT App Inventor のExtension利用の続編です。今回は、口形から、「あ/い/う/え/お/閉」を識別することを試みました。口の周りを含む、顔の多数のキーポイントがリアルタイムに得られるので、口形パタンの画像をdeep learningさせることなく、簡単な計算で識別します。

■[Exercise-4] 顔のキーポイントを利用して口形から「あ/い/う/え/お/閉」を識別
 これは、前回記事に続く、練習問題です。スマホで撮影した顔から口形を認識して、それが、「あ/い/う/え/お/閉」のいずれであるかを、リアルタイムに識別するアプリを作成しましょう。

 図1の上段は、これらの母音を発話した時の顔のキーポイント(全450点)の状況です。一方、その下段は、口の周りの6点だけで口形を扱うために考えたフレームモデルです。どの発話なのかを判断するために、このフレームから、ある2つの特徴量(awb, cwa)を定義します。これらの特徴量は、口の開き具合や角度を反映するように、簡単な計算で決めました。



 各発話について、32回の試行を行い、これら2つの特徴量(awb, cwa)の相関を示したものが図2です。この結果から、6種類の口形が、余裕をもって、分類(分離)できることが分かりました。また、「あ」と「え」は比較的近いことが分かります。実感と合致します。一方、「う」と「閉」は、フレームでは似ていますが、図2によればかなり明確に分離されているのが面白い。


 それならば、ということで、これらの口形をリアルタイムに認識するデモアプリを作成しました。下図は、「あ-え-い-お-う-い-閉」の順に発話した場合です。ほぼ良好に6種の口形を識別できているようです。



 むやみに、画像を沢山用意して、それをdeep learningさせる前に、ちょって待て。何とか特徴量を見つけて、それらの関係を観察し、それに基づく簡単なプログラムで識別できる場合もある。今回は、そのような一例のように思います。

2021年4月2日金曜日

MIT App Inventorの公式Twitterで紹介されました

 MIT App Inventorで公開されたFacemesh Extension(顔認識用の拡張機能)を使って書いたこの記事ですが、App Inventor公式Twitterでご紹介いただきました。(2021年4月1日)


2021年3月30日火曜日

MIT App Inventorで顔認識学習モデルFacemeshを

 【what is this】MIT App Inventor のExtensionとして、Googleの顔認識(主要450点)学習モデルFacemeshが利用できるようになりました[1][2]。これにより、顔認識関係のスマホアプリがさらに作りやすくなりました。さっそく、簡単なアプリ3つを作ってみましょう。

■[Exercise-1] 顔の向きを考慮して、口の開閉でスイッチOn/Off
 これは、前のブログ記事で取り上げた例題です。その際は、PythonからFacemeshに関するAPIを利用して作りました。今回は、これと同じことを、MIT App Inventor のExtensionを利用して行います。

 解答例は、Fig.1 のようなApp Inventorプログラムです。これがソースプログラムの全てですから、「こんなに簡単に!?」と思う人も多いでしょう。プログラムは読みやすく、そのロジックも明解そのものです。
 図にはコメントがありますので、説明は特に必要ないと思います。口の開閉を上下の唇中央点のy座標の差分で、顔の向きを鼻筋2点のx座標の差分で検出していることにご注目下さい。それらが、ブロック(when...FaceUpdated)に纏められ、顔や口が動いた場合にリアルタイムに起動される仕組みです。


 簡単な拡張として、以下のように、マスクを付けたり外したりもやってみましょう。

■
[
Exercise-2] - 顔の動きで、"はい", "いいえ", "どっちかな"を識別
 上の[Ecercise-1]では、顔の現時点の特定の「状態」を検出しました。一方、顔の「連続した動き」を得たい場合もあります。例えば、「うなずく」「顔を横に振る」「顔を傾ける」などです。これらを検出するには、顔の揺れた方向(上下、左右、斜め)、および、その振幅を得る必要があるでしょう。このような処理も、同様にApp Inventor(Facemesh extension付き)の世界でできます。その実現例を下図に示します。以下の3つの振幅を正規化して、そのうち、最も大きい値を与えた動作を検出します。

●Yes:うなずき(はい)→ 鼻の頂点の上下(y軸方向)の変動
●No:いやいや(いいえ)→ 鼻の頂点の左右(x軸方向)の変動
●N/A:どうかな(?)→ 額の上の2点間の線分とx軸がなす角度の変動




■[Exercise-3] - 発話時の口形面積の変化を可視化して楽しむ
 MIT App Inventorの強みのひとつは、GUIとの連携の容易さです。Fig.4 に示すこの練習問題も、それを生かしたアプリの作成です。Facemeshでは、顔の主要450点を検出できるのですが、ここでは、口(くち)回りの4点だけ使います。The simpler the better. この菱形の口の面積の推移(青い線)とその変化率(赤い線)をグラフにします。口の動きとその波形を見て楽しむ練習問題です。遊びが何らかのヒントを与えることもあり得る。

 このような口(くち)パクから、例えば、"イノシシ" / "トラ"、あるいは"apple" / "orange"をきちんと区別する課題に取り組む場合には、さらに面積変化の加速度の波形が必要かもしれない。そのような波形(またはその周波数解析結果)を、発話種類ごとに数百件用意して、それらを学習させることになるでしょう。
 なお、身体の動きの加速度の周波数解析に関しては、参考文献[3]に丁寧な解説があり有用です。また、口の動きを入力とする機械読唇に関しては、参考文献[4]に基本事項と手法が詳しく叙述されています。

■感想
 今回のMIT App Inventor Extension for Facemeshによって、顔認識関係スマホアプリの開発がかなり容易になります。[Exercise-2]では、App InventorのBallコンポーネントを使っており、タッチ、ドラッグなどによるインタラクションも可能です。他にも、Facemeshと連携できる場面がありそうです。MIT App inventor leads us to a new frontier in smartphone programming.

References
[1] Artificial Intelligence with MIT App Inventor, http://appinventor.mit.edu/explore/ai-with-mit-app-inventor
[2] Facemesh Filter Camera, http://appinventor.mit.edu/explore/resources/ai/facemesh

[3] 田中博、五百蔵重典:IoT時代のデータ処理の基本と実践、コロナ社刊、2018年3月(特に、第5章フーリエ解析)
[4] 宮崎 剛、中島豊四郎:[推薦論文]日本語の発話映像における初口形の検出方法提案、情報処理学会論文誌、Vol.53、No.3、pp.1472-1479、2012.

Using the MIT App Inventor FaceExtension (for Facemesh)

 【abstract】The MIT App Inventor FaceExtension has been released [1][2]. This makes it very easy to create a smartphone app that uses Google's facial recognition (450 major points) learning model Facemesh. Let's make three simple apps right away.

■[Exercise-1] On/Off by opening and closing the mouth considering face orientation
 You can see what I want to make by watching the animated gif below. Let's make this little app using the FaceExtension of MIT App Inventor.

 My answer is shown in Figure 1. Here's a complete App Inventor source program that works. I think this program is simple and very easy to understand. Notice that the opening and closing of the mouth is detected by the difference in the y-coordinate between upper and lower lips, and the orientation of the face is detected by the difference in the x-coordinates between the two points on the nose. They are grouped into a block (named whenFaceExtension.FaceUpdated) and it is activated in real time when the face or mouth moves.


    As a simple extension, try putting on and taking off the mask as follows.

■[Exercise-2] - Identify "Yes","No", and "N/A" by face movement
  In the [Exercise-1] above, we have detected the current specific "state" of the face. On the other hand, you may want to get a "continuous movement" of your face. For example, "nod", "shake your face", and "tilt your face". To detect these, you will need to know the direction in which the face sways (up/down, left/right, diagonal) and its amplitude. You can do this in the App Inventor (with Facemesh extension) world as well. The following GIF shows an example of the answer. Three amplitudes in the figure are normalized, then, the movement that gives the maximum value is adopted.

Yes:Nod -> Fluctuation of the top of the nose up and down (y-axis direction)
No:Shake -> Fluctuation of the top of the nose right and left (x-axis direction)
N/A:Tilt -> Angle variation of the line segment between the two points on the forehead against x-axis



■[Exercise-3] - Visualize the transition of the mouth-shaped area during utterance
 One of the great features of MIT App Inventor is the ease of integration with the GUI. Fig.4 is an app that makes the best use of it. Facemesh can detect the main 450 points on the face, but here we will use only 4 points around the mouth. The simpler the better. Graph the transition of the area of this diamond-shaped mouth (blue line) and the rate of change of the area (red line). This is an exercise that you can enjoy watching the movement of the mouth and its waveform. Play may give some hints.

 In order to properly distinguish, for example, "apple" from "orange" using such mouth movements, acceleration waveforms of mouth area change may also be needed. Hundreds of such waveforms (or their frequency analysis results) should be prepared for each utterance type. And thorough training (learning) using them will be necessary.

References
[1] Facemesh Filter Camera
http://appinventor.mit.edu/explore/resources/ai/facemesh
[2] Artificial Intelligence with MIT App Inventor,
http://appinventor.mit.edu/explore/ai-with-mit-app-inventor

2021年3月19日金曜日

顔認識(主要486点)学習モデルFacemeshの利用

 【what is this】Googleの顔認識(主要486点)や指の認識(主要関節21点)の学習モデルが、PythonやJavaScriptなどで使えるようになっています[1]。本記事は、これに基づいた顔認識モデルFacemeshに関する小生独自の簡単な説明です。

■顔のキーポイント(全486点)のリアルタイム認識
 Facemeshによる顔のキーポイントの検出例を図1に示します。人間の実写の他、写真や肖像画でもOKのようです。福沢諭吉と平賀源内の肖像画(何故かこのお二人)、および大学HPの広報(女子学生)写真で試しました。顔認識や感情分析に重要な、口や鼻や目の付近のメッシュは当然ながら細かくなっています。

■唇と瞼の開き具合の認識
 主要点番号とその位置の対応は、mesh mapにありますので、その番号を指定して、必要な点の検出ができます。一例として、唇と瞼の開き具合を見るため、図2のように、8点(唇4点と瞼4点)を赤色に着色してみました。


 これら8点のマップは図3のとおりです。鼻や頬や顎についてのキーポイントも同様に得られます。(キーポイント番号は、その後改訂にともない、図3とは異なるかも知れません。)これらを利用すれば、例えば口の開き具合で、何かの動作を制御する等、自分なりの顔認識関係アプリを(簡単なものであれば)作れそうな気になります!

 図4は、日本語母音の発話時の口形の検出例です。なかなか面白そうですが、これですぐに読唇ができるわけではありません。実際の機械読唇技術に関しては、宮崎剛教授らの論文[2]等を参考にして深く検討する必要があるでしょう。


■口の開閉でオンオフを制御してみる
 →この項はその後修正し、こちらにまとめました。


■もう一歩前へ(状態だけでなく、動きも検知)
 
→この項はその後修正し、こちらにまとめました。

■感想
(1)プログラミングの容易化
 
図3を改めて眺めてみました。このようにランドマーク(キーポイント)がリアルタイムに検出されるのであれば、この後は顔の表情を認識することは格段に容易になります。(情報系が苦手な学生を含む)より幅広い人々が、AI技術発展の恩恵を受けられると思います。
(2)スマホなどGPU無しでも推論ができる
 
以前は、上記例題のようなリアルタイム顔認識には、GPU付きの高性能PCが必要でしたが、今はこのような認識(推論)は普通のスマホで十分できてしまう。アイディアと工夫次第で、思いもつかぬアプリケーションも生まれそうに思われます。

参考文献・資料
[1]
 Face and hand tracking in the browser with MediaPipe and TensorFlow.js, https://blog.tensorflow.org/2020/03/face-and-hand-tracking-in-browser-with-mediapipe-and-tensorflowjs.html
[2] 宮崎 剛、中島豊四郎:[推薦論文]日本語の発話映像における初口形の検出方法提案、情報処理学会論文誌、Vol.53、No.3、pp.1472-1479、2012.