先の記事の補足です。
「あ、い、う、え、お、X」の6種類の口形が、awbとcwaという2つの特徴量によって、かなり明確に分離できるという実験結果を先に示しました。今回は、これをより明確にリアルタイムに確認するために、アプリを若干改訂しました。詳しくは、下図の中の説明文をご覧下さい。
I am a professor emeritus of CS at Kanagawa Institute of Technology, Japan. Originally my specialty was parallel and distributed systems. My current interests include machine learning, natural language processing, creating mobile apps with MIT App Inventor, and quantum computing. In the web version of this blog, clicking the icon on the right (a plastic sphere) will take you to the "List of Quantum Computing Articles". - Fujio Yamamoto (for e-mail, add "@ieee.org" after "yamamotof")
先の記事の補足です。
「あ、い、う、え、お、X」の6種類の口形が、awbとcwaという2つの特徴量によって、かなり明確に分離できるという実験結果を先に示しました。今回は、これをより明確にリアルタイムに確認するために、アプリを若干改訂しました。詳しくは、下図の中の説明文をご覧下さい。
【what is this】MIT App Inventor のExtension利用の続編です。今回は、口形から、「あ/い/う/え/お/閉」を識別することを試みました。口の周りを含む、顔の多数のキーポイントがリアルタイムに得られるので、口形パタンの画像をdeep learningさせることなく、簡単な計算で識別します。
■[Exercise-4] 顔のキーポイントを利用して口形から「あ/い/う/え/お/閉」を識別
これは、前回記事に続く、練習問題です。スマホで撮影した顔から口形を認識して、それが、「あ/い/う/え/お/閉」のいずれであるかを、リアルタイムに識別するアプリを作成しましょう。
図1の上段は、これらの母音を発話した時の顔のキーポイント(全450点)の状況です。一方、その下段は、口の周りの6点だけで口形を扱うために考えたフレームモデルです。どの発話なのかを判断するために、このフレームから、ある2つの特徴量(awb, cwa)を定義します。これらの特徴量は、口の開き具合や角度を反映するように、簡単な計算で決めました。
各発話について、32回の試行を行い、これら2つの特徴量(awb, cwa)の相関を示したものが図2です。この結果から、6種類の口形が、余裕をもって、分類(分離)できることが分かりました。また、「あ」と「え」は比較的近いことが分かります。実感と合致します。一方、「う」と「閉」は、フレームでは似ていますが、図2によればかなり明確に分離されているのが面白い。