人工知能とは ⑨ 自然言語処理分野

What is Artificial Intelligence?

ベクトル空間モデル|word2vec|ワードツーベック

「単語の意味はその周辺にある単語で決まる」という言語学の考え方から発想されています。

どのような言語であったとしても、文章は単語の集まりであり、その単語は記号の集まりです。単語の記号をベクトルに変換する手法が、word2vec|ワードtoベクトルです。ベクトル空間モデル単語埋め込みモデルとも言われています。

王様 − 男性 + 女性 = 女王

この式は、王様のベクトルから、男性のベクトルを引き、女性のベクトルを足すと、女王のベクトルと親しいものになるということを表現しています。

行った ー 行く + 飛ぶ = 飛んだ
went  ー go + fly = flied

上記の式は、人間の文章における文法をベクトル化して考えたものです。確かに、わかりやすく、納得できる式でもあります。

word2vecには2種類の手法があります。

スキッププログラム|Skip-program

単語から周辺の単語を予測する

CBOW

周辺の単語から単語を予測する。なんとなく、ナンクロ的な要素もあるのかな?

文書の意味表現

様々な文字形態、長さ、意味の違いなどで比較することが困難な単語を、ベクトルという一意なものに変換する単語埋め込みモデルは、自然言語処理NLPnatural language processingのシンプルなモデルと考えることができます。

fastText

word2vecでは、訓練データにない単語|OOVOut Of Vocabularyへの対応ができませんでした。その解消のために単語表現に文字情報も加えたfastTextが2013年、トマス・ミコロフによって開発されました。

ELMo

文字表現を得るために、アレンインスティチュートによって考え出されたモデルです。2層の双方向リカレントネットワークと言語モデルの内部状態を利用します。各層で単語に関する異なる種類の情報を処理しますので、いろいろな課題に対して対応できます。

マルチタスク言語モデル

下記のようなことができる文書ベクトルモデルをマルチタスク言語モデルといいます。

  1. 前次文推測
  2. 機械翻訳
  3. 構文解析
  4. 自然言語推論

画像の注釈付け

ニュートラル画像脚注付け|NIC|neural Image Captioning

CNNとリカレントニューラルネットワークの言語モデル|LM|Language Modelを組み合わせたものです。

シーケンス2シーケンス|seq2seq

自動翻訳技術として良く用いられる

ニューラルチューリングマシン|NTM|Neural Turing Machine

LSTMを利用したコントローラを配置して、系列制御、時系列処理などの複雑な内容を解くことができます