分類モデルの評価

(1)正解率(Accuracy)

最もシンプルな評価基準は、正解率(Accuracy)である。

正解率=正解した数(分子)/予測したデータ数(分母)

正解しやすいが、データに偏りがある場合は、この指標だけを結果とするのは危険である。

(2)適合率(Precision)と再現率(Recall)

データに偏りがある場合は、適合率(Precision)と再現率(Recall)を指標とするのが有効である。

100通の受信メールで、うち90通が通常メール10通がスパムメールだっとして、メールがスパムか否かを予測するモデルを説明するのが上記2つ。

①適合率(Precision)

適合率(Precision)はモデルがスパムと予測したメールの内、実際にスパムだったメールの割合を示す。

適合率はスパムでないと予測しても、実際にはスパムだったという結果は、計算式に入らない。

②再現率(Recall)

再現率(Recall)とは、実際にスパムだったメールの内、モデルもスパムだと予測していた割合のこと。

正解ラベルがTrueのものの中で、正解率のこと。

適合率と再現率は、トレードオフの関係にあり、どちらを重視するかは、問題によって異なってくる。

見逃しが多かったとしても、正確な予測をしたければ、適合率を重視する。スパム有無を厳密判定する。

不正確が多くても見逃しを防ぎたい場合は、再現率を重視する。基準を緩めて、より多くのメールをスパムと判定する。

(3)F値

F値とは、適合率と再現率の調和平均のことで、式を用いる。 適合率と再現率の両方がバランス良く、高くなれば、F値も高くなる。