ディープラーニングとは何か。
目次
AIを支える半導体
AIのディープラーニングには多くの隠れ層が必要とされ、それに伴う多くの計算量を支えるには、それに耐えうる優秀なハードウェアが必要です。
このハードウェアの制約と進歩は、AIの発展には欠かせないものであると考えられます。
この場合のハードウェア、具体的には、「半導体」です。
Intelの創設者ゴードン・ムーアの「ムーアの原則（半導体の性能と集積は、18ヶ月ごとに2倍になる）」が有名です。
AI・ディープラーニングの進展には、”半導体の性能と集積が鍵を握る”ということになります。
CPU、GPU、GPGPU
CPU
- Central Processing Unit
- コンピュータ全般の作業を処理する役割（日常の操作をストレスなく快適に行うことができる）
GPU
- Graphics Processing Unit
- ディープラーニングの発展に大きく貢献している
- 画像処理に関する演算を担う
- 大規模な並列演算処理が必要なので、それに特化したもの
- GPUがCPUよりも優れているというわけではない
- 決められた処理を行うからこそ、大規模・高速な演算が可能
GPGPU
- General-Purpose computing on GPU
- ディープラーニングでは、テンソル（行列、ベクトル）による計算が主になる
- 同じような計算処理が大規模で行われる
- GPUのなかで、画像以外の計算にも使えるよう改良・最適化されたもの
- NVIDIA社が有名
- Google社のチップ開発→「TPU（Tensor Processing Unit）」
ディープラーニングのデータ量
- AIの学習＝「モデルが持つパラメータの最適化」
- この問題にはこれだけのデータがあればよいという明確な数字はない
- 「バーニーおじさんのルール」：モデルのパラメータ数の10倍のデータ数が必要という経験則
- ディープラーニングには、多くのデータ数が必要
