DNA鎖を再帰的ニューラルネットワークSeq2seqの学習データに(1)

【what is this】リカレント（再帰的）ニューラルネットワークの一種であるSeq2seqは、ある時系列データを別の時系列データへ変換します。その理解のために、分子生物学に出てくるDNA鎖を入力データとして利用しました。長さ６の２つのDNAの連接とそれに必要な相補配列を5万セット学習させた結果、必要な相補配列を100%予測できるようになりました。

■Attention付きSeq2seqへの学習データ
　このタイプのリカレントニューラルネットワークについては、別の記事で簡単に書きました。その際は、英文→和文、あるいは、和文→英文を言語コーパスとして与えて学習させ、機械翻訳を行いました。今回は別の種類のコーパスとして、DNA鎖をとりあげます。と言っても、ここでは、それを塩基（A, T, G, C）の文字列として扱うに過ぎません。

　図１に示すような学習データを用意しました。各行は、12文字からなる入力データ（DNA）と、それに対して「ある規則」で生成したラベル（相補配列）６文字で構成されています。使われる文字は、４つ（A, T, G, C）だけです。この場合、入力データは約1,700万個（4の12乗）作れますが、ここでは、そのうちからランダムに5万個（5万行）を選択しました。

■DNA鎖と対応相補配列の学習
　このデータを、前回と同様に、Attention付きSeq2seqで学習させます。5万件のうち、訓練には45,000件を、テスト用には5,000件を使いました。学習状況は図２のとおりです。６epochsで、テスト用5,000行に対して全て正解（正解率100%）となりました。実際、全データ5万件に対して全て正解でした。

■入力データとラベルの対応規則
　入力データからラベルを生成する「ある規則」とは図３(a)に示したとおりです。それには、ワトソン･クリック相補性が使われています。すなわち、入力データを（T→A, A→T, G→C, C→G）に従って置換したものをラベルとしました。ただし、置換する部分は、入力の中央の６文字に対してだけであることにご注意下さい。ということは、入力のうち左端と右端のそれぞれ連続３文字はラベルに影響を与えていません。一方、図３(b)は、置換開始位置を左へ１文字ずらした場合です。

（補足）入力データは12文字になっていますが、本当は長さ６の２つのDNAが、ラベルのDNA（相補配列）によって連接していること（ハイブリダイゼーション）を想定しています。

■学習済みモデルの可視化
　上記のとおり、学習済みモデルが入力データに対して100%の正解率を出したということは、図１のデータにある「入力データ→ラベル」の対応規則を発見できたことを意味します。それを裏付けるデータが図４(a)にあります。横軸は入力データ（TCATGCTTATAA）、縦軸は正解である予測結果（ACGAAT）です。マス目の色の明るさは、入力文字が縦軸（予測結果）の文字へ反応している強さを示しています。この図から、以下のことが自動的に認識されたと言えます。

(a) 入力データの中央６文字に対して、置換（T⇔A, G⇔C）を行うと正解文字列（ラベル）が得られること。
(b) 入力データのうち、先頭と末尾の連続３文字は、予測に影響を与えていないこと。

    以下の図４(b)は、図3(b)のような入力データとラベルを学習させた場合です。ハイブリダイゼーションの位置が左に１文字ずれた影響が確認できます。

　今回の学習データを使った検討によって、改めて、Attention付きSeq2seqの可能性を知ることができました。