自然言語モデルの進展として、Word2Vecの延長線上に開発されたモデルについて。
目次
AI・ディープラーニングの全体像
- 人工知能
- 機械学習
- ディープラーニングの基本・応用
- ディープラーニングの研究
- AIプロジェクト
- AI社会実装に伴う法律・倫理
Word2Vecの派生型モデル
| fastText | ・2013年、トマス・ミコロフによって提案 ・テキスト分類と単語特徴表現の学習が圧倒的に高速化 ・「Out of Vocabulary（OOV）」 ・訓練データには存在しなかった新しい単語を適切に処理できる ・単語を「N-gram」の集合として表現し、小さな部分語に分解 ・その単語の部分語に対し、以前に学習済みの単語の部分語に基づいて単語埋め込みを表現できる ・単語の曖昧性に対して有利 |
|---|---|
| Doc2Vec | ・文章間の類似度のベクトル計算を可能にした手法 ・文章（単語の集合）単位でベクトルを割り当てることが特徴 （⇔Word2Vec：各単語の意味をコードするベクトルを計算） |
エンコーダ・デコーダモデル
- 「Sequence-to-sequence」→入力された時系列（Sequence）から、新しい時系列へ変換して出力するモデル
- 「エンコーダ・デコーダ（Encoder-Decoder）」モデルの一種
- エンコーダが入力データを処理して”符号化（エンコード）”、符号化された情報をデコーダで”復元（デコード）する
- 機械翻訳→エンコーダのRNNで翻訳前の単語系列をベクトルに圧縮し、隠れ層を経由して、ベクトルをデコーダに渡し、翻訳後の単語列を生成
Bidirectional RNN（BiRNN）
- 「Bidirectional RNN（BiRNN）」→双方向RNN言語モデル
- 過去と未来の両方の情報を学習や予測に活用
- 1つのRNNからの出力を別のRNNに入力することで、RNNを積み重ねて使用
- 「過去用」と「未来用」の2つのRNNを組み合わせることで、未来から過去の方向に学習することも可能
ELMo
- 従来の埋め込みモデルでは、分散表現を計算する際に、文脈を考慮できていない
- 「ELMo（Embedding from Language Models）」→対象単語を含む文章全体を学習の入力とし、深いネットワークを使って埋め込み表現を学習する
- 2018年、アレン研究所によって開発
- 文脈を反映した単語の意味を認識できるようになった
- 「BiRNN」を使用することで、文脈を双方に考慮することもできる
