人工知能とは ⑥ ディープラーニングの手法3

What is Artificial Intelligence?

リカレントニューラルネットワーク
Recurrent Neraul Network|RNN

時系列データを利用する際に利用される。

時系列データ

時間軸に対して何かのパターンを持っているデータで入力は時間軸に沿うべきであり、時間情報を反映できるような仕組みとして、隠れ層の構造を変えることで問題解決するLSTM|Long Short-Team Memoryがあります。過去から未来への一方方向で学習する方式で、LSTMブロックという構造で時系列データを保持することが可能となっています。
CEC|Constant Error Carousel
 誤差を内部にとどめ、勾配消失を防ぐもの
入力ゲート、出力ゲート、忘却ゲート
 必要な情報を必要なタイミングで保持、消失させるためのゲート
 入力重み、出力重み衝突
 リセット

LSTMを簡略化したGRU|Gated Recurrent Unitが利用される場合があります。
・リセットゲート、更新ゲート

RNNの発展形

Bidirectional RNN|BiRNN

LSTMを2つ組み合わせて、過去から、未来からの双方向で学習できるようにしたモデルです。

RNN Encorder-Decorder

出力も時系列で予測したいというsequence-to-sequenceという課題を快活するモデルです。エンコーダ|encoderが入力側、デコーダ|decorderが出力側を処理します。

Attention

ネットワークに時間の重みをモデルで、時系列での精度向上に貢献しました。