人工知能とは ⑥ ディープラーニングの手法3

リカレントニューラルネットワーク
Recurrent Neraul Network｜RNN

時系列データを利用する際に利用される。

時系列データ

時間軸に対して何かのパターンを持っているデータで入力は時間軸に沿うべきであり、時間情報を反映できるような仕組みとして、隠れ層の構造を変えることで問題解決するLSTM｜Long Short-Team Memoryがあります。過去から未来への一方方向で学習する方式で、LSTMブロックという構造で時系列データを保持することが可能となっています。
・CEC｜Constant Error Carousel
　誤差を内部にとどめ、勾配消失を防ぐもの
・入力ゲート、出力ゲート、忘却ゲート
　必要な情報を必要なタイミングで保持、消失させるためのゲート
　入力重み、出力重み衝突
　リセット

LSTMを簡略化したGRU｜Gated Recurrent Unitが利用される場合があります。
・リセットゲート、更新ゲート

RNNの発展形

Bidirectional RNN｜BiRNN

LSTMを２つ組み合わせて、過去から、未来からの双方向で学習できるようにしたモデルです。

RNN Encorder-Decorder

出力も時系列で予測したいというsequence-to-sequenceという課題を快活するモデルです。エンコーダ｜encoderが入力側、デコーダ｜decorderが出力側を処理します。

Attention

ネットワークに時間の重みをモデルで、時系列での精度向上に貢献しました。