機械学習のモデルの精度評価の方法について。
目次
AI・ディープラーニングの全体像
- 人工知能
- 機械学習
- ディープラーニングの基本・応用
- ディープラーニングの研究
- AIプロジェクト
- AI社会実装に伴う法律・倫理
機械学習モデルの精度への評価②
精度指標の詳細
精度指標（スコア）
- Accuracy（正解率）
→正しく分類できたデータの割合 - Precision（適合率）
→陽性判定されたデータのうち、実際に陽性だったデータの割合
（偽陽性を避けたいときに注目する） - Recall（再現率）
→実際の陽性データのうち、陽性として検出されたデータの割合
（陽性を見落とするとリスクが高いときに注目する） - F-measure（F値）
→適合率と再現率の調和平均として使う
「Accuracy（正解率）」「Precision（適合率）」「Recall（再現率）」の関係性
| Accuracy（正解率） | ・最も一般的な評価指標 ・推定値と真値の一致割合を示す ・FP（False Positive）とFN（False Negative）の重要度を差別化する必要なし ・Accuracyだけを見ても、モデルの良し悪しを判断できない場合あり （FPとFNの重要度が異なる場合、カテゴリごとの出現割合が極端に異なる場合など） |
|---|---|
| Precision（適合率） | ・陽性判断の正確性を示す ・曖昧なものは陰性と判断されがち→FN（False Negative＝偽陰性）が発生しやすくなる→Recall指標が下がる ・FNを避けたい場合、Precisionを重視すべきでない（病気診断など） |
| Recall（再現率） | ・陽性データのうち、モデルが陽性を検出できた割合を示す ・陽性判断の網羅性を示す ・曖昧なものは陽性と判断されがち→FP（False Positive＝偽陽性）が発生しやすくなる→Precision指標が下がる ・FPは再検査で対応すればよく、FNほど深刻ではない（病気診断など） |
”曖昧なものは陰性と判断されがち”と”曖昧なものは陽性と判断されがち”という意味において、「Precision（適合率）」と「Recall（再現率）」とは、トレードオフの関係にある（一方がよければ他方が犠牲になる）。
