ロジスティック回帰は、分類の代表的なアルゴリズムです。

パーセプトロンと同様に、線形分離可能なデータを分類するアルゴリズムである。

パーセプトロンとの違いは、

1.出力に加え、各データがあるクラスに分類される確率値を算出できる。

2.過学習を防ぐために正則化項を追加できる。※本講座では扱わない。

(1)ロジスティック回帰の仕組み

活性化関数にシグモイド関数が使われる点がパーセプトロンと異なる。

全体の仕組みはロジスティック回帰とパーセプトロンは同一である。

パーセプトロンはステップ関数だった活性化関数

ロジスティック回帰ではシグモイド関数になる。

シグモイド関数の出力は、0~1の間の値となる。

出力値が小さければ0に近づき、大きくなれば1に近づく。

連続値を予測する線形回帰では、出力値の範囲に指定はない。

ロジスティックかいきでは、予測値が0~1の間に収まる。

ロジスティック回帰を用いて分類問題を解く場合、(ユーザが品を買うか買わないか、合格するかしないか)出力された0~1の間の値が、分類対象のデータがあるクラスに属する確率になる。

確率が得られることで、その結果に関する確度が出せる。

この確度が出せる点が、パーセプトロンとの大きな違いになる。

(3)ロジスティック回帰のコスト関数

※発展した話のため、余談である。

ロジスティック回帰のコスト関数にクロスエントロピーがある。

予測値が正解に近いほど誤差(コスト)が0に近づき、正解から遠いと誤差が最大限に近づく。

(4)Pythonでの実装