ディープラーニングと計算リソースについて。
目次
AI・ディープラーニングの全体像
- 人工知能
- 機械学習
- ディープラーニングの基本・応用
- ディープラーニングの研究
- AIプロジェクト
- AI社会実装に伴う法律・倫理
ディープラーニングと計算リソース
GPU、CPU
GPUとは
- 「ムーアの法則」→Intelの創業者の1人であるゴードン・ムーアが、1965年に発表した「半導体の集積率は18ヶ月で2倍になる」という半導体製造における経験則
- 「CPU（Central Processing Unit；中央処理演算装置）」→コンピュータを使って行う一般的な処理を担っている装置
- 「GPU（Graphics Processing Unit）」→リアルタイムの画像処理向けに設計された演算処理装置
- 「並列演算処理」を得意とする
- 大規模なテンソル（行列やベクトル）の計算に使われる
- 単純な処理に限定することで、大規模・高速な演算ができる
- 単純作業に限定した場合、GPUは数千個のコアを使用するため、並列処理で素早く計算でき、リアルタイム画像処理に強い
- 「GPGPU（General Purpose computing on GPU）」→GPUの演算能力を画像処理以外にも利用できるように汎用化されたもの
- 「CUDA（Compute Unified Device Architecture）」→NVIDIA社が提供しているGPGPUで並列演算を行うための開発環境、ほとんどの深層学習ライブラリで使われている
- 「TPU（Tensor Processing Unit）」→Google社がテンソル計算に特化したもの
GPUとCPUの違い
| CPU | ・様々なタスクを「順番に」処理する ・数個のコア（2～8個程度） ・複雑な計算でも、分割して順番に計算する形にできる ・単純でも非常に数が多い場合は処理が遅くなる |
|---|---|
| GPU | ・「並列に」演算を行う ・大量のコア（数千個） ・多数のコアを使って簡単な計算を分担して素早く並列計算できる ・膨大な数の単純作業の並列分散処理が得意 |
ディープラーニングのデータ量
- ディープラーニングにおける学習とは、ニューラルネットワークのパラメータを最適化すること
- ネットワークが深く複雑になるにつれ、最適化すべきパラメータの数と計算量は膨らんでいく
- 必要なデータ量に関する経験則→「バーニーおじさんのルール（Uncle Bernie’s Rule）」
- モデルのパラメータ数の10倍のデータ量が必要
- 近年は、ディープラーニングの精度を維持しつつパラメータ数を減らすための研究も行われている
