トランザクションデータのグループ化（JavaとPython）

    【what is this】トランザクションデータなど、複数のカラム（キー）からなるデータを、特定のいくつかのカラムについて、階層的にグループ化したい場合があります。JavaとPythonを使って、簡単な例で試してみます。

　本記事で扱う小さなデータ（csvファイル）とソースコード（JavaとNotebook形式Python）はこちらにありますので、よろしければお使い下さい。

■例題：トランザクションデータ（通貨取引）のグループ化
　何をしたいのかを、図１で説明します。図１(a)は、参考資料[1]のcsvデータを若干編集したものです。先頭行は、３つのカラム名（City, Currency, Value）を示しています。２行目以降のトランザクションを集約して、右側の(b)に示すように、取引所（City）でグループ化し、さらに通貨（Currency）毎の取引額（Value）の平均値を求めたい。この処理は、初歩的なプログラミングでも可能ではありますが、恐らく、込み入ったものになるでしょう。ここでは、分かりやすく、効率的なプログラムにしたいのです。

■JavaのStream、groupingByの利用
　図２に示したJavaプログラムは、StreamとCollectionのチュートリアルである参考資料[1]を参考にしています。まず、１〜2行目で上記のcsvデータを読み込み、３行目でトランザクションを３つのカラム対応のデータに分割しますが、データの先頭行は不要なので4行目のfilterで削除します。５行目では、各トランザクションに対するオブジェクトを生成しています。そのクラスの定義は(b)にあります。このオブジェクトのプロパティを利用して、６〜７行目で、Cityについてグループ化し、さらにCurrencyについて纏めてそれらの平均値を得ています。ストリームに対するgroupingByが２重に適用されているところがポイントです。ここで、例えば、「Tranz::getCity」は、トランザクションオブジェクトに対して、一斉にクラスTranzのメソッドを適用する（Cityデータを得る）ことを意味します。８〜11行目は結果の出力表示です。

　１〜7行目までの、２重のグループ化では、if文もforループ文も使われておらず、処理の流れを把握しやすいのが魅力です。実行結果は、図１(b)のようになります。

■ Pythonのpandas、groupbyの利用

　次に同じことを、資料[2]を参考にしてPythonでやってみます。グルーピングの考え方はJavaの場合と同じですが、Pythonでの記述量は、図２(a)のように大幅に少なくできます。実質１行（４〜５行目に渡る）で、右側の(b)の実行結果が得られます！素晴らしいですね。PythonのモジュールPandasを使っており、そのなかのgroupbyが効果的に働いています。そして、Javaの場合に切り捨てた先頭行のカラム名（City, Currency, Value）が、自動的に内部で生成されるオブジェクトに対応しています。

　このように、PythonのPandasは効率的プログラミングに貢献しています。しかしながら、これで全面的にPythonの勝利ということではないでしょう。Javaの場合は、明示的に生成したオブジェクトと一連の処理がstreamとして分かりやすいという捨てがたい魅力があります。また、JavaのStream（とそしてラムダ式）は、マルチコアマシン上での並列実行性能を高めるためにあるとも言われますので、大規模データ処理の場合の性能比較も楽しみになります。

[参考資料]

[1] Raoul-Gabriel Urma, "Java SE8ストリームを使用したデータ処理(パート1 & パート2)", Oracle.com/JavaMagazine, March/April, 2014.

[2] Soner Yıldırım, "3 Python Pandas Tricks for Efficient Data Analysis",

https://towardsdatascience.com/3-python-pandas-tricks-for-efficient-data-analysis-6324d013ef39