人工知能とは ⑨ 自然言語処理分野

What is Artificial Intelligence?

「単語の意味はその周辺にある単語で決まる」という言語学の考え方から発想されています。

どのような言語であったとしても、文章は単語の集まりであり、その単語は記号の集まりです。単語の記号をベクトルに変換する手法が、word2vec｜ワードtoベクトルです。ベクトル空間モデルや単語埋め込みモデルとも言われています。

王様　−　男性　＋　女性　＝　女王

この式は、王様のベクトルから、男性のベクトルを引き、女性のベクトルを足すと、女王のベクトルと親しいものになるということを表現しています。

行った　ー　行く　＋　飛ぶ　＝　飛んだ
went　ー　go ＋　fly ＝　flied

上記の式は、人間の文章における文法をベクトル化して考えたものです。確かに、わかりやすく、納得できる式でもあります。

word2vecには2種類の手法があります。

単語から周辺の単語を予測する

周辺の単語から単語を予測する。なんとなく、ナンクロ的な要素もあるのかな？

様々な文字形態、長さ、意味の違いなどで比較することが困難な単語を、ベクトルという一意なものに変換する単語埋め込みモデルは、自然言語処理｜NLP｜natural language processingのシンプルなモデルと考えることができます。

word2vecでは、訓練データにない単語｜OOV｜Out Of Vocabularyへの対応ができませんでした。その解消のために単語表現に文字情報も加えたfastTextが2013年、トマス・ミコロフによって開発されました。

文字表現を得るために、アレンインスティチュートによって考え出されたモデルです。２層の双方向リカレントネットワークと言語モデルの内部状態を利用します。各層で単語に関する異なる種類の情報を処理しますので、いろいろな課題に対して対応できます。

下記のようなことができる文書ベクトルモデルをマルチタスク言語モデルといいます。

CNNとリカレントニューラルネットワークの言語モデル｜LM｜Language Modelを組み合わせたものです。

自動翻訳技術として良く用いられる

LSTMを利用したコントローラを配置して、系列制御、時系列処理などの複雑な内容を解くことができます

2019年7月1日

2019年7月3日