ロジスティック回帰は、分類の代表的なアルゴリズムです。
パーセプトロンと同様に、線形分離可能なデータを分類するアルゴリズムである。
パーセプトロンとの違いは、
1.出力に加え、各データがあるクラスに分類される確率値を算出できる。
2.過学習を防ぐために正則化項を追加できる。※本講座では扱わない。
(1)ロジスティック回帰の仕組み
活性化関数にシグモイド関数が使われる点がパーセプトロンと異なる。
全体の仕組みはロジスティック回帰とパーセプトロンは同一である。
パーセプトロンはステップ関数だった活性化関数
ロジスティック回帰ではシグモイド関数になる。
シグモイド関数の出力は、0~1の間の値となる。
出力値が小さければ0に近づき、大きくなれば1に近づく。
連続値を予測する線形回帰では、出力値の範囲に指定はない。
ロジスティックかいきでは、予測値が0~1の間に収まる。
ロジスティック回帰を用いて分類問題を解く場合、(ユーザが品を買うか買わないか、合格するかしないか)出力された0~1の間の値が、分類対象のデータがあるクラスに属する確率になる。
確率が得られることで、その結果に関する確度が出せる。
この確度が出せる点が、パーセプトロンとの大きな違いになる。
(3)ロジスティック回帰のコスト関数
※発展した話のため、余談である。
ロジスティック回帰のコスト関数にクロスエントロピーがある。
予測値が正解に近いほど誤差(コスト)が0に近づき、正解から遠いと誤差が最大限に近づく。
(4)Pythonでの実装