ディープラーニングと自然言語処理技術③

自然言語をコンピュータで処理する自然言語処理技術について。

大規模言語モデル

• GPTのパラメータ数は約1億、BERTのパラメータ数は約3億
• ※タスクの精度を落とさずにパラメータ数を削減する工夫→「ALBERT」「DistilBERT」
• 2019年、「GPT-2」（約15億）
• 2019年、NVIDIA「Megatoron-LM」（約83億）
• 2020年、Microsoft「Turing-NLG」（約170億）
• 2020年、「GPT-3」（約1750億）
• 2020年、「Vision Transformer（ViT）」：CNNを使わない事前学習モデル（トランスフォーマー）
• Google「PaLM」
• Deepmind「Chinchilla」
• メタ「LLaMA」
• 「PanGu-Σ」
• 2022年11月、「ChatGPT」
• 「RLHF（Reinforcement Learning from Human Feedback）」→生成された応答が適切かを人間が判断し、その結果から強化学習を用いることで、より高精度な応答を生成
• 「GPT-4」
• Google「Bard」（PaLM2ベース）

自然言語処理のタスクとは何か

• 形態素分析（単語のような単位（形態素）に分割）
• 構文解析（形態素間の関係を分析し、文全体の構造を求める）
• 情報検索
• 文書要約
• 機械翻訳
• 対話システム
• 「General Language Understanding Evaluation（GLUE）」ベンチマークというデータセット
  →言語理解タスクのまとめ
  ①文法判定
  ②感情分析
  ③2つの文が同じ意味か判定
  ④含意関係認識
  ⑤質問応答
  →「SuperGLUE」「JGLUE」