神奈川工科大学で講義：自然言語処理と機械学習（事前編）

 【what is this】情報工学科２年生向けの「入門：自然言語処理と機械学習」の概要です。90分のオンライン講義用です。（事後編はこちら）

■久しぶりの90分授業
　縁あって今回（2020-12-10）、神奈川工科大学情報工学科２年生向けに、90分のオンライン講義をすることになりました。全部で15回あるオムニバス形式の情報工学特別講義の１回分です。

　内容は、「自然言語処理と機械学習」です。ここ２，３年、興味をもって調べたり、自分で実験してみた事項に基づいています。自然言語処理の基本的な解析から機械翻訳までの重要と思われる技術について述べます。

　本当は学生諸君の顔を見ながらの対面授業でやりたいのですが、このコロナ禍のもとでは致し方ありません。しかし、自宅の机上から講義するのですから、やりやすい面もあります。

講義のタイトル

講義の全体構成と時間配分目安

■講義にあたって留意したこと

1. スライド枚数を適切に抑えて、講義時間を超過しないこと。最終的には、目次なども含めて、全62枚のスライドを準備し、（90分だが）85分で終了することをめざす。
2. 全体を大きく４分割し、それぞれ20分程度の話として明確に区分すること。またそれら各部の相互関連も示すこと。
3. できる限り、独自の例題、独自のプログラム、独自撮影の画像、身近な話題などを使って、当方の取り組み姿勢を示す。
4. インパクトのある素晴らしい、他の人の成果は積極的に引用させていただく。
5. 技術の詳細の講義ではないが、「ふわー」としたお話しに終わらずに、なるべく一定の深さまで掘り下げ、具体例をあげ、簡単な計算例なども加えること。
6. 一方、詳細な技術内容には立ち入れないとしても、何か「凄いぞ！」「こんなことも考えられているのか！」と驚きを感じ興味を持ってもらう場面も作ること。

■講義予定のスライド一覧
　以下は、４区分したスライドの縮刷版です。実寸スライドは（先生方にはすでにご覧いただいていますが）講義時までに学生諸君へ公開します。

part1 人工言語、自然言語、機械学習、サービス

part2 基本解析、形態素解析、係り受け解析、分類問題、コーパス

part3 単語の意味理解、共起語、単語の実数ベクトル空間への埋込み

part4 機械翻訳（用例的、統計的、ニューラル、Attention）、参考文献

■このあとどうする
　この講義は、「入門」としています。このあとはどうするか、少しギャップがあると思いますが、技術的にさらに深めたものを作りたいと思っています。特に、最新の機械翻訳の仕組みを明確に説明できることを目指したい。

【参考文献】

　以下の文献等から、多くのことを学びました。また、それらにある例題や図表の一部を引用させていただきました。感謝致します。

1. 黒橋禎夫：改訂版 自然言語処理、放送大学教育振興会、2020年：基本概念とアルゴリズムを簡潔かつ精緻に叙述した定評の教科書。手計算できる小さな例題で理解を深める。改訂版では、最近の機械翻訳（20ページ）が追加された。（全202頁）
2. 杉本徹･岩下志乃：Javaで学ぶ自然言語処理と機械学習、オーム社、2018年：基本概念と基本技術が、幅広く丁寧に解説されている。明解なJavaプログラムとその解説があり、それを動かしながら理解を深められる。（全262頁）
3. 斉藤康毅：ゼロから作るDeep Learning(2)自然言語処理編、オライリー、2018年：定番の「ゼロから作る…」の第２弾、自然言語処理編。じっくり一歩づつ（Pythonでプログラムしながら）進む。最初の方にDeep Learningの一般的解説もある。（全412頁）
4. 柴原一友：自然言語解析アルゴリズムBERT（前編）、日経ソフトウェア2020年７月：情報検索や機械翻訳で注目されているBERTの考え方のやさしい解説。BERTの中核であるTransformerとAttentionがどんなものかをイメージすることができる。 （全13頁）
5. 奥野陽他２：自然言語処理の基本と技術、翔泳社、2016年：広範な話題を数式を使わずやさしく解説しようとしている。初心者が技術の概観を得るのに適す。機械翻訳の解説もあるが、発行が少し前のためか、ニューラル機械翻訳は含まれない。（全239頁）