人工知能とは ⑦ ディープラーニングの手法4

強化学習

ある行動での報酬｜スコアの合計をもっともたくさん獲得することを目的として、行動を学習していくモデルです。

■利用例
ロボットの行動制御学習

深層強化学習

2013年、DeepMind社がCNNを組み合わせた強化学習でボロック崩しゲームを行う動画をは発表して大きな注目を浴びました。
2015年からDeepMind社のAlphaGo｜アルファ碁がプロ棋士に勝利して大きな話題となった。棋譜の学習して、CNNを状態や行動評価に利用して、モンテカルロ探索で手を考えています。
2017年に完全自己対局のみで学習するAlphaGo Zeroが発表され、AlphaGoを破っています。

DQN｜Deep Q-learnig

ディープラーニングとQ学習｜Q learningに組み合わせており、この発展形として以下がある。
・Double DQN
・Dueling Network
・Categorical DQN
・Rainbow

深層生成モデル

主に認識や識別タスクで発展してきた機械学習ですが、最近は生成タスクでも応用されています。

■データを元に、新しくなにかを生成したい
識別モデルの延長です。活用例としては、1次元の畳み込みのCNNを利用して音声生成を行うWaveNetがあります。

■データそのものを生成したい
生成モデルと言われ、元データの分布を学習して新しいものを生成します。この方法とディープラーニングを組み合わせたものを深層生成モデルと言います。

画像生成モデル

・変分オートエンコーダ｜Variational AutoEncoder｜VAE
オートエンコーダで平均と分散を学習する統計分布に変換して、そこからランダムに散布サンプリング、デコードして、新しいデータを生成します。　

・敵対性生成ネットワーク｜generative Adversarial Network｜GAN
潜在空間をランダムベクトルとして入力し、画像を生成するジェネレータと画像が本物か、偽物かを予測して出力するディスクリミネータで構成されている。予測結果はジェネレータにフィードバックされます。偽物を作る学習と見破る学習をすることで、本物のような画像を作成することができるようになります。

・DCGAN｜Deep Convolutional GAN
CNNを用いたGAN