AI第3次ブームを支えた機械学習・深層学習について。
目次
ディープラーニング（深層学習）
ニューラルネットワーク
- ニューラルネットワークとは「機械学習」の1種で、生物の神経回路を真似することで学習を実現しようとするもの
- 1943年、神経生理学者ウォーレン・マカロック＆数学者ウォルター・ピッツが、最初のニューロンモデル（形式ニューロンモデル）を発表
（→固定化されていて学習によって振る舞いは変わらないものであった） - 1958年、心理学者フランク・ローゼンが、「パーセプトロン」（ニューロンの各入力の重みを調整・学習することで問題解決が可能）を提案
（→学習可能なニューロンモデルの元祖） - パーセプトロンは直線で分離できない分類問題には対応できないと分かり、研究がいったん下火に
ニューラルネットワークの多層化と自動学習→ディープラーニング
- ニューラルネットワークを深く多層化し、データに潜む特徴を自動的に学習する手法
→「ディープラーニング（深層学習）」 - 1986年、デビッド・ラメルハートらが「多層パーセプトロン」「誤差逆伝播法（バックプロパゲーション）」を提唱し、”ニューラルネットワークを多層化し全体を学習させる方法”が広まる
- 1989年、ヤン・ルカンが「畳み込みニューラルネットワーク」としてLeNetとして提案（1979年、福島邦彦発表のネオコグニトロンと同等のアイデアを採用）
- 「誤差逆伝播法（バックプロパゲーション）」を使用しても、当時のコンピュータでは計算に時間がかかりすぎる、学習精度が上がらない、学習が困難になる
→サポートベクターマシンという別のアプローチに注目が集まり、下火に - 「オートエンコーダ（自己符号化器）」（入力したものを同じものを出力するよう学習）の研究、「活性化関数」（層の間でどう情報を伝達するかを調整するもの）の研究
→層を深くしても学習することが可能に
→学習精度が高い多層ニューラルネットワークの構築が可能に
ディープラーニングの進化
- 2012年、「ILSVRC」（画像認識の精度を競い合う競技会）で、「Super Vision」（トロント大学ジェフリー・ヒントン）が圧倒的勝利
- ただし、「特徴量（注目すべきデータの特徴）」を決めるのは人間であり、職人芸に依存するものであった
- トロント大学ジェフリー・ヒントンが開発したのが、「ディープラーニング（深層学習）」であった
LLM
- 2022年11月、OpenAIの「ChatGPT」（大量の文章を学習しており、たくさんの候補の中から文章の次に続く最も適切な単語を確率的に選ぶことが可能）（＝生成AI）が登場
- 生成AIは、「Transformer」という技術に支えられている
（単語と単語の関係性＝「アテンション（注意力）」によって広範囲にわたり学習） - 2017年、Google研究者による「Attention Is All You Need」という論文がきっかけ
- 「LLM」
・「事前学習」：与えられた大量の文章を学習することで構造・文法・語彙などの基本を学ぶ
・「ファインチューニング（微調整）」：特定タスクや応用分野に焦点を当てた訓練を行い、学習と改善を行う - OpenAIは、GPTの規模を著しく拡大しており、興味深い研究対象となっている
