App Inventor version nb181 (December 19th, 2019)

MIT App Inventor is constantly upgrading, including minor improvements and bug fixes. I'd like to talk about two things that I've paid attention to in this release of "nb181". They are improved XML decoding and the addition of pressure sensor component.

XMLDecode Now Handles CDATA Sections
In XML, you may want to use markup symbols in regular strings. For example as in the following figure. However, XMLTextDecode in the XML Web component did not handle the "![CDATA [...]]" sections well. Therefore, these sections had to be removed as follows:

This issue was discussed by the community around 2015. As a countermeasure, Taifun [1] presented the above method. However, this version of App Inventor seems to have solved this problem.

Addition of Barometer
I developed several apps that use the barometric sensor built into the Android Phone and published them at the MIT App Inventor Summit 2014 [2]. At that time, App Inventor could not use the barometric pressure sensor, so I created a small Java program to get the barometric pressure value and called it with ActivityStarter.

An example of an Android application using a barometer [2]

Since then, I have used barometric pressure components [3] installed in AppyBuilder and Taifun's Extension [4]. However, with this version upgrade of App Inventor, you can use barometric pressure sensor as one of the standard sensors without using them. Great!


[1] Taifun's post on CDATA
[2] Fujio Yamamoto, “Rapid Prototyping Using App Inventor in Information and Computer Sciences Course”, Proc. of the MIT App Inventor Summit 2014, 3 pages, Cambridge USA, July 2014.
[3] PressureSensor by Hossein's Appy Builder
http://appybuilder.com (AppyBuilder is being integrated with Kodular)
[4] Taifun's Barometer Sensor Extension


Finally arrived! Beautiful mountain photos that were automatically recognized!

In the previous article [1], I mentioned the recognition of photos from live cameras that shoot mountains. And I have developed an app that can automatically receive it by e-mail only when a photo with a clear view of the top is obtained. In order to recognize photos, I created a model in which many photos of the mountain were classified into four categories and trained. There, I used MIT's Personal Image Classifier and Google's Teachable Machine2 and incorporated the trained model into the App Inventor app.

However, in general, mountains are often covered with clouds. For example, at Rishiri Mountain in northern Hokkaido, you can see the middle but rarely see the top. So, I checked the weather forecast, and on a sunny day, I ran this app continuously from the early morning and waited for a notification email. During that time, of course, I was doing another job because it is fully automatic notification!

Finally, good luck came. It happened after 12:00 that day. As shown in Figure 1, the mountain photo was judged to be “clear enough to see the summit” and I received an automatic email to inform it. I was very happy. Sure, I got a great photo that looks good up to the top of the mountain.

[1] Using MIT's Personal Image Classifier with App Inventor


Another example using JSON Decoding Extension

This article shows an example of using the JSON Decoding Extension I developed. Below are descriptions of this extension:


First of all, I would like to thank many people for their interest in this extension. In fact, these two articles have been accessed more than 1,500 times in total, but sometimes there are inquiries that they can't use it well. So here's another example that's simple but practical. It is a display of the weather forecast using OpenWeather ([1][2]). Here, the weather forecast of Sapporo City in Japan, up to five days in advance every three hours is displayed. An example of a JSON text as output from OpenWeather is shown in FIg.1. Some parts are folded in the figure, but if all are expanded, there are 1,341 lines.

In this JSON text, all the tag values shown in red frame are taken out and displayed on the smartphone as shown in FIg.2. In other words, the city name, date and time, temperature, and weather are displayed. In order to use OpenWeather in an application, it is necessary to obtain an API Key.

Here are the points of using the extension (FoYoJSON) to decode this JSON text. For example, to get the city name "Sapporo-shi", treat it like Fig.3. In addition, to retrieve all the weather forecast every three hours in order of time, write as Fig.4.

The complete source code (blocks) of this application is shown in Fig.5.

If you take a little more time, you can create a more practical application as shown in Fig. 6, where there are four cities registered and can be switched with the button.

I found out that this Extension was introduced by CERCA [3]. Thank you for your correct understanding of my design intent and usage.


[1] to get OpenWeaterMap API guide:
[2] to get City ID:
[3] CERCA NEL, Estrarre dati da JSON con una comoda estensione di appinventor, novembre 15, 2019


利尻山の画像認識をTeachable Machine2とApp Inventorで行う

 前回の記事では、MIT App InventorからGoogleのTeachable Machine2を使って画像認識する例を書きました。今回、それを少し進めたアプリを作成しました。

 北海道の北部にある利尻山(島全体が利尻山になっている)の状況をリアルタイムに認識するスマホアプリを作成しました。まずは、どんなものかをご紹介します。色々な造り方はあるでしょうが、ここでは、App InventorとTeachable Machine2を使って、如何に簡単に、美しい(?)AIアプリを作るかに主眼があります。何かのご参考になれば幸いです。

 このアプリは、参考資料[1]に示した利尻町役場のライブカメラの画像を適宜引用して、その画像を学習させています。その学習はTeachable Machine2で行います。その学習済みモデルを使って、以下のアプリ(App Inventorによる)は動きます。




 学習には、Fig.4に示す4つのカテゴリを設けました。それぞれに十数枚の画像を集めて学習させました。なかでも、"Clear enough to se the top"(よく晴れていて山頂までみえる)場面になかなか出会うことができず、予想外に作業時間がかかってしまいました。


[1] ライブカメラが掲載されている利尻町役場のホームページ


MIT App InventorとGoogle Teachable Machine2を連携させる

【要旨】GoogleのAI環境Teachable Machine2を使うと、自分用に、音/画像/ポーズの学習と認識を非常に簡単に行えますが、それだけでは、初心者レベルでに留まってしまいます。一歩進めて、自分の作りたいアプリにこれを組み入れることができれば、世界はグンと広げられます。その糸口となる試みを、MIT AppInventorとの連携という形で行いました。

 先の記事に書きましたように、Teachable Machine2によれば、PCやスマホのブラウザを使って容易に自分用に(ここが重要!)、音/画像/ポーズの学習と認識を行うことができます。子供にも大人にも、素晴らしいとAI環境と言えます。

 しかしながら、自分が解きたい問題、作成したいアプリにその機能を取り込めなければ、それ以上の発展がありません。私の場合、スマホのアプリをMIT App Inventorを使って作るのですが、ここに、このTeachable Machine2を組み込めないかと思い、情報を探しましたが見当たりません。それならば、と自分で以下のようにやってみました。


  • 富士山(富士吉田)
  • 利尻岳(沓形)
  • 昼間の富士山(須走)
  • 夕暮れの富士山(須走)

学習済みモデルをMIT App Inventorから使う準備
 スマホ用のApp InventorにあるWebViewerというブロックは、実は強力なJavaScriptエンジンなのです。上記の学習済みモデルは、JavaScriptの環境があればどこでも動くTensorflow.jsで作られています。そのため、Googleのサーバにおいた学習済みモデルは、App Inventor側で実行できます。


MIT App Inventorから学習済みモデルを動かして認識結果を得る
App Inventorから学習済みモデルを動かして認識を実行させます。図3(a)は、ライブカメラから取得した画像を、上で述べたローカルWebサーバに配置しています。図3(b)は、ローカルサーバで認識をさせ、その結果をApp Inventor側で取得しています。ここで、WebViewerのWebViewStringが受け渡しの役を担っています。



【参考情報】MIT App Inventorのフォーラム
以下でも、App InventorとTeachable Machine2に関するディスカッションがあります。私も、ひと言述べています。
Artificial Intelligence with App Inventor



 先日(2019年11月初旬)に発表されたGoogleのTeachable Machine 2.0 [1]はちょっと衝撃的でした。バージョン1.0は2017年に発表されていたのですが、今回のバージョン2.0は著しく進歩しています。”Teachable Machine 2.0 makes AI easier for everyone”のキャッチフレーズの通りだと感じます。

 このTeachable Machineの特徴は、ブラウザのもとで動くTensorflow.jsを使っており、学習も認識もローカルマシンできてしまうことです。学習は今のところPCでしかできないようですが、学習済みのモデルは、スマホへ組み込めるので、スマホでリアルタイムに、音/画像/ポーズの識別ができてしまいます!ここで特筆すべきは、コーディング不要であり、例えば以下のようなスマホ用の音識別器は、全体で15分くらいでできてしまうことです!





[1] Teachable Machine 2.0 makes AI easier for everyone


Enjoy live cameras from across the world on your smartphone

This app has won the "2019 December's MIT APP INVENTOR OF THE MONTH" award. 

The source code (blocks) is published below:

Revision: Added a function to automatically acquire images periodically (see Fig. 4).

Many live cameras are installed in cities, mountains, rivers, etc. around the world. They are useful for knowing the current situation in a nostalgic place or where an acquaintance lives. Of course, you can simply enjoy the beautiful scenery. It takes a little time to find a suitable one among those live cameras. There are not so many live cameras that are of interest to each person, at most about ten. If that's the case, don't you think it's convenient to register them in advance on your smartphone so that you can see them right away! At that time, it would be nice to be able to display the previous camera image together with the current camera image. It's often useful to know that something has changed in a few hours.

First, find out several suitable live cameras. They can be video images or still images. Also, the update interval varies from several minutes to one hour. Here, select still images with an update interval of several minutes. MIT App Inventor is very suitable for the smartphone app to be created this time.

Prepare a text file with the location name and image URL as input data. From such a text file, create a simple database with TinyDB, and through that, let the Web component get images. The acquired image is displayed with the Image component together with the current time. The saved previous image is also displayed at the same time. In addition, we added a function to automatically delete images that were not saved so as not to occupy a large amount of storage.

This is a simple app, but you can use it to see the image of the desired live camera as soon as you think of it. You can save your favorite images by pressing the button. It's also a good idea to email screenshots of current and past images to someone else.

Fig.1 shows the case where Mt. Fuji (FujiYoshida) is selected from 10 registered live cameras ([1]-[10]). It is interesting to compare this morning's image with yesterday's image.

Another examples are shown in Fig.2. Images from two live cameras (Liverpool Airport and Liverpool Waterfront) installed in Liverpool. Time is shown in Japan time. It ’s also fun to compare day and night images.

Some live cameras have a telephoto function and a variable direction shooting function. These features are switched automatically and cannot be controlled by the user, but if you are lucky you can get even better images. For example, Fig. 3 shows Mt. Fuji taken with the telephoto function and the night view of Sapporo taken from different directions.

Now we have added a function to periodically acquire images from the current Live camera. As shown in Fig.4, you can specify the shooting interval and press the button to automatically update the screen. And automatic shooting stops by Long-Click on the button.

please note
If Error_908 is displayed when running this app, please allow access to External_Storage in your Android settings. Please allow it again (twice) if necessary.

(The live camera URL is not shown below because some live cameras do not allow direct links to images, except for personal use.)
[1] Neuburg an der Donau
[2] Mt. Fuji Subashiri
[3] Sapporo Oh-dori park
[4] Liverpool AirPort
[5] Tokyo Haneda AirPort
[6] Kushiro Japan
[7] London Big Ben
[8] Mt. Fuji Fujiyoshida
[9] Liverpool Waterfront
[10] Chikuma river Naganuma





  1. 神奈川県内の河川では、あるコード体系でライブカメラ画像にファイル名が付与されているので、プログラムでは、コードから画像ファイル名を復元できた。しかし、他の都道府県や地域の河川はそれぞれが異なる命名規則を持つ。
  2. 神奈川県の場合、標準的に3枚の画像(河川写真2枚と水位グラフ)を表示できたが、他県では、それらが揃っているとは限らないうえ、別のタイプの画像もある。
  3. プログラムの造りに少し不満があった。すなわち、複数の画像読み込み要求に応じて、それぞれに個別の受信イベント処理ブロックを作っていた。
  1. 元の長いファイル名(URL)をそのまま使い、TinyDBを使って(tag, value)の形式で情報を保持する。すなわち、tagを河川名(観測地点名)とし、valueは画像URLを要素とするリストとした。そして、tagのリストをListpickerに設定した。
  2. これにより、画像の枚数は河川あたり1枚〜3枚まで可変でも不都合がない。
  3. 複数の画像読み込み要求(Web.get)に対する、画像受信イベントを、ひとつのGeneric Blockで処理するように変更した。拡張性と柔軟性を向上させるため。これに関して、前回との比較を図1に示した。


 海外の河川にも、ライブカメラはあります。かなり昔行ったことのあるドナウ川(Neuburg an der Donau)にしてみました。画像取得までに若干時間がかかりますが、少し遅れたリアルタイム画像(毎分更新される)を表示できます。でも、こうして海外河川も入れてしまうと、防災よりも観光となってしまいそうですが、ご容赦下さい。







  • スマホ用に設計されていないので、文字などが小さすぎる。
  • 多数の河川が掲載されているので、関心のある河川へ行くまでに数ステップかかる。
  • 各自に関心がある河川は、自宅や親戚の家の近くなど、数個程度と思われるが、それを登録して使えない。(Webページのブックマークはできるが...)
  • 水位グラフを見るには、河川カメラとは別系統なので、さらに数ステップかかる。
そこで、スマホ用に、自分用にカスタマイズして使い易くするアプリを作成することにしました。結論から言いますと、MIT App Inventorを使って、図2のようなアプリを作成しました。ここでは河川観測点を6ヶ所登録してあります。図2左側図は、[河川名-観測点-リアルタイムカメラ画像情報-水位グラフ情報] がリストになっていて、どれかをクリックすると、直ちに右側へ切り替わり、その河川の写真と水位グラフがセットで表示されます。また、上部の河川名をクリックすると、再度左側へ戻り、別の河川を選択できます。




 このスマホアプリは、画像のURLから画像を表示しているだけなのですが、最も使いやすいユーザーインタフェースにするにはどうするかを考えました。水位情報をデータベース(TinyDB, TinyWebDB, SQLiteなど)にすることなども考えましたが、結局、自分の関心のある数個の河川情報をテキストファイルにして、その内容をListPickerで選択するこの方式に落ち着きました。

 このようなある程度実用的と思われるスマホアプリを、短時間で作成できるMIT App Inventorの有用性を改めて感じる次第です。最後に、登録してある他の河川の状況も示して、この記事を終わります。


日本に強く関係する MIT App Inventorの出来事

 MIT App Inventorの登録ユーザ数が最近1,000万人に達した、とのニュース[1]がありました。もちろん、日本のユーザも多いのですが、あまり目立ちません。そんな中で、日本に関係するビックな出来事が2つあります。

 最初は、現在日本人でただ一人、"MIT Master Trainer in Educational Mobile Computing"の資格を有する石原正雄氏の国内での活動が、MIT App Inventorのオフィシャルブログ[2]で紹介されたことです。"App Inventor finally came to Tokyo!! First App Inventor workshop for educators in Tokyo, by Masao Ishihara"というタイトルです。石原氏が、日本において、App Inventorを使って、Computational Thinkingを指導する人のためのWorkshopを開催していること等が紹介されています。特に日本人の教育関係者にとってインパクトのある、朗報だと思います。

 2番目は、App Inventorの日本語化に関するものです。MITサーバでは、英語の他にスペイン語、ドイツ語など15ヶ国の言語のバージョンが使えますが、日本語はありません。高校生や大学生であれば、英語版でも特に支障はないと思いますが、小学生や中学生にとっては、やはり日本語版が必要のようです。それがあれば、日本でも子供の間で、もっとMIT App Inventorが使われるようになるでしょう。
 そんななかで、米国在住の16才の高校生である宮島健さん(Michael Ken Miyajima)らが日本語化プロジェクト[3]を立ち上げていて、すでに日本語版を独自サーバで公開していることがわかりました。Google アカウントがあれば、直ぐに誰でもそれを使えます。初心者向けのチュートリアルもあり、例題の作成手順は丁寧な日本語で解説されています。なかには、少し高度なアプリも扱っています。例えばそのうちの、「日本の郵便番号の検索アプリ」は、データベースSQLiteやzip圧縮ソフトの利用、extensionsの利用、テキスト処理とリスト処理などを含む本格的なものです。

 この日本語化により、欧米諸国のように日本国内でも、低学年の生徒に、App Inventorがさらに普及することが期待されます。低学年を含めた幅広いユーザ層が存在し、様々なアイディアのアプリが開発され、それらに関する情報交換がなされることは、大学等でのApp Inventorの高度な活用にとっても重要であると思います。

[1] MIT App Inventor Reaches 10 Million Users, and Other Milestones
[2] App Inventor finally came to Tokyo!! First App Inventor workshop for educators in Tokyo
[3] MIT App Inventor 2 日本語化プロジェクト

Writing formulas in both AppInventor and JavaScript

Using MIT App Inventor, you can, of course, write mathematical formulas. However, long formulas tend to be complex to represent. In that case, as written in the previous article, you can write a formula in JavaScript and call it from App Inventor. In the following, I will write some mathematical formulas in these two ways and compare them.

As an example, let's create an application in App Inventor to find the distance and azimuth between two points as shown in Fig.1. With Google Maps, isn't it easy? Yes, that's right. But it's fun to create your own program! This execution example shows that the distance from Tokyo Tower to Mt. Fuji is about 98 km and the azimuth is 250 degrees. The azimuth is shown as the displacement when the north is 0 degrees.

There are several known formulas for calculating distance and azimuth. Among these, referring to literature [1], Fig.2 explains practical mathematical formulas when the earth is regarded as a sphere. Let's write this formula in both JavaScript and App Inventor.

The first is the JavaScript function shown in Fig.3. The arguments of JavaScript trigonometric functions (Math.sin, Math.cos, Math.tan, etc.) must be given an angle converted from latitude and longitude to radians. Note that the entire application is created with App Inventor and this JavaScript function is called from App Inventor.

On the other hand, in Fig.4, the above formula was created as a function of App Inventor. Since the angle given to the trigonometric function of App Inventor is degrees, the latitude and longitude values ​​can be entered as they are. At first glance, it looks a little complicated, but the structure of the formula is clear and bugs are less likely to occur. However, longer formulas are cumbersome because the number of block operations increases and the area occupied by the diagram also increases.

Although it is a common-sense conclusion, the above is summarized as follows:
  • Note that the angle given to trigonometric functions is degrees in App Inventor, but radians in JavaScript (and common programming languages).
  • For fairly complex formulas, you can create it as a function in JavaScript and call it from App Inventor.
  • For relatively simple formulas, writing everything in App Inventor will give you a clearer understanding of the formula structure and fewer bugs.
  • It makes sense to try it out instead of imagining it.
I would like to supplement a little. Thanks to the rich functionality of MIT App Inventor Openstreet Map, expansion as shown in Fig. 5 can be done easily. That is, by clicking on the map, you can get the latitude and longitude of that point. In addition, my above calculation results (distance and azimuth) were completely consistent with those calculated by Openstreet Map! In the figure, red and blue markers indicate Tokyo and Sapporo stations, respectively.

[1] Keisan by CASIO (in Japanese)


Make MIT APP Inventor more powerful with JavaScript

MIT App Inventor plays a big role in developing smartphone applications. Many general application developments can be performed with App Inventor standard blocks. However, further enhancements may be required to create more sophisticated and complex applications. To respond to this, the following three mechanisms have already been prepared.

First, App Inventor can call external programs (created with Java or App Inventor) by using Activity Starter, which is a standard block. The second is to use the extension function for creating new blocks (Extensions) that can be used in the same way as a standard block. However, in order to do this, some detailed knowledge of Java programming should be required. The third is to create and incorporate a Javascript program. This time I will introduce this method. Perhaps it is easier to use Javascript than to develop Extensions in Java.

The method of using Javascript with App Inventor is introduced in the following references ([1] [2] [3]). Both use the standard block WebViewer. This is because the WebViewer is a Javascript engine. Reference [1] also carefully states that the Javascript program path is different for debugging and development. The execution result of the Javascript program should be obtained by pressing the App Inventor button at an appropriate time. Reference [2] is also easy to understand. The execution completion of the Javascript program is checked by spinning on the App Inventor side. Reference [3], written in Spanish, describes a simple example using the Pythagorean theorem. In this case, because App Inventor automatically receives Javascript execution completion event, this App Inventor program is made very concisely.

I will explain an example using Javascript based on these reference materials. Fig.1 is a simple app that reverses the entered string. The standard block for App Inventor strings does not include the function of string inversion, so it is realized in Javascript.

This mechanism is illustrated in Fig.2.
  • First, create a Javascript file that reverses the string, and then upload it to Asset as Media in the Designer section of App Inventor. In this Javascript, WebViewString is important. 
  • Get the input string that App Inventor gave to WebViewString by getWebViewString () on the 7th line. 
  • Reversing of the character string is executed on the 9th line. The result is set to WebViewString by setWebViewString. In other words, WebViewString is rewritten at this point. 
  • App Inventor can automatically detect the occurrence of this rewrite event by a block named WebViewStringChange, so a new WebViewString value (ie, execution result) can be obtained here.

This Javascript example was quite simple, but Javascript is a very powerful programming language that can be used to build more advanced App Inventor applications.

[1] How does the property Webviewer.WebViewString work?
[2] WebView Javascript Processor for App Inventor
[3] Insertar códigos de JavaScript en App inventor. Pitágoras.


AI with MIT App Inventor(生徒にAIの可能性を探求する機会を)

 これまでも、生徒/学生向けのComputational Thinking教育の一環として、人工知能(AI)を利用した環境は提供されていました。例えば、ML4K (Machine Learning for Kids)やSctatchを利用したものなどです。これらに加えて、最近、MIT App Inventorの本家のWebページに、主に高校生を対象とした「Artificilal Intelligence with App Inventor」というカリキュラムのアナウンスがありました。具体的な教材として、教員用[1]と生徒用[2]のような例が示されています。その一例は下図のようなものです。

http://appinventor.mit.edu/ の情報を元に作成したものです

 MIT App InventorにAI用のExtensionを組み込んでいますので、AI分野でこの10年間ほどで行われた高度な研究成果を活用して、生徒(高校生など)でも、オリジナルのAIアプリケーションを作成できます。これにより、生徒にAIの可能性を探求する新たな機会と、未来の創造者としての力を与えることを目指しているようです。生徒が自分のアイデアを具体化できることに重点をおいたカリキュラムを構成して行こうとしているようです。米国内の「K-12 Computer Science Standards」[3]にも適合させるとしています。

 単に、手順を示してそのとおりに造らせるのではなく、それを観察して問題点や改良案を考えさせることを重視しています。一例ですが、本題(例題)では、認識結果として、"(clock 0.63525)"のように、ヒットした最初の候補しか表示していません。これに対して、例えば、次のような課題を与えています。

  • ベスト(第1候補)だけでなく、第2候補も示しなさい。
  • 確度の数値を取り除き、物の名前だけにして、それを音声で出力しなさい。



[1] INTRODUCTION TO MACHINE LEARNING Image Classification(教員用)
[2] Image Classification: WhatIsIt(生徒用)
[3] K-12 Computer Science Standards, Revised 2017