AIのなかでも「生成AI」とはどのようなものか。
一般社団法人生成AI活用普及協会（GUGA）監修「生成AIパスポート テキスト＆問題集」（日本能率協会マネジメントセンター）で学ぶ！
※イラストは、AIツール（DALL-E3）を使用して作成しています。
目次
生成AI
経緯
- ボルツマンマシン
（ニューラルネットワークの一種で確率的に動作するもの）
※1980年代後半に、ジェフリー・ヒントンとテリー・セジュノスキーの研究グループにより提唱
※処理の膨大な時間がかかるため未完成 - 制限付きボルツマンマシン
（人工ニューロンの接続を特定ルールによって制限し、入力部分と推定部分の2つに分けることで効率化したもの）
※1986年に開発
※教師あり学習に加え、教師なし学習も可能となる
技術の変遷
| 自己回帰モデル | ・過去データから予測する方法 ・時系列データ（天気など）に効果的 |
|---|---|
| ディープラーニング | ・人間の脳の働きを模倣しており、複雑なパターンを学習する能力あり ・2006年、制限付きボルツマンマシンを多段的に重ねた深層ネットワークが提唱されて発展 |
| CNNモデル Convolutional Neural Network （畳み込みニューラルネットワーク） | 画像の一部分から特徴を抽出し、畳み込みながら、全体的な特徴を抽出していく。 |
|---|---|
| VAE Variational Auto Encoder （変分自己符号化器） | ・エンコーダ（入力データを圧縮してコンパクトにまとめる） ・デコーダ（元データに戻す） |
| GAN Generative Adversarial Networks （敵対的生成ネットワーク） | ・生成器（データの生成を試みる） ・識別器（生成器のデータの真偽を判断） |
| RNNモデル Recurent Neural Network （回帰型ニューラルネットワーク） | ・音楽（時間的に連続しているパターン）などのシーケンスデータに適した技術 ・勾配消失（処理の持続性の低下の問題あり） |
|---|---|
| LSTM Long Short-Term Memory （長・短期記憶） | ・1997年に提唱、2000年代に改良 ・より長時間シーケンスデータの依存関係学習が可能となる ・長文になると精度低下・並列学習に向かない・学習に多大な時間がかかるなどの課題あり |
Tranformerモデル
「Tranformer」モデルでは、「CNN」や「RNN」を使用せず、「自己注意力（Self-Attention）」という新機能を採用。
データの順番に関わりなく、多くの情報を同時並列的に処理することが可能となり、大規模データセットの学習時間の大幅な短縮が可能に。
Tranformerモデル以降の派生モデルとして以下があります。
| GPTモデル | ・2018年6月、OpenAIのチームが開発 ・大量のテキストデータを学習し、新しい文章を生成 ・Tranformerの仕様がベース |
|---|---|
| BERTモデル | ・2018年10月、Googleが開発 ・自然言語処理モデル ・Tranformerの一部がベース ・双方向性（単語の前後の単語を利用し、周囲の文脈により単語の意味が変わる場合も適切にその意味を捉える） ・MLM（Masked Language Model）：マスクした前後の単語の情報を利用して予測 ・NSP（Next Sentense Prediction）：ある文が別の文の直後に来るか予測 |
| RoBERTa | ・2019年、Facebookが開発 ・BERTの改良モデル ・BERTの約10倍のデータ量と時間を使って訓練 |
| ALBERT（A Lite BERT） | ・BERTの軽量モデル ・パラメータ数を大幅削減 ・計算リソース（ハードウェア、電力）を制限した環境でも高いパフォーマンス |
