2018年4月8日 星期日

機器學習筆記 (10) - 邏輯回歸分類模型(Logistic regression 或logit regression)

邏輯回歸分類模型(Logistic regression 或logit regression)


邏輯回歸分類模型跟適應性線性神經元模型就差在它所使用的激勵函數是 Sigmoid Function.
因為 Sigmoid 大小介於 0~1 就好像機率一樣,所以我們可以把最大或然當成 cost function去求其最大值或者加負號去求最小值。






likelihood L for logistic regression:
\begin{equation} L(w) = P(y\mid x;w) = \prod_{i=1}^{n}(\phi (z^{(i)}))^{y^{(i)}}(1-\phi (z^{(i)}))^{1-y^{(i)}} \end{equation}
取其 log 較好運算:
\begin{equation} l(w) = log(L(w)) = \sum_{i=1}^{n}[y^{(i)}log(\phi (z^{(i)}))+(1-y^{(i)})log(1-\phi (z^{(i)}))] \end{equation} 
所以我們可以定義 logistic的 cross-entropy, J(w) 為:
\begin{equation} J(w) = -l(w) = \sum_{i=1}^{n}[-y^{(i)}log(\phi (z^{(i)}))-(1-y^{(i)})log(1-\phi (z^{(i)}))] \end{equation}
update weight (w 迭代):
\begin{equation} w_{j} := w_{j} + \Delta w_{j}\end{equation}
其中:
\begin{equation}\Delta w_{j} = -\eta\bigtriangledown J(w_{j})=\eta\sum_{i}(y^{(i)}-\phi(z^{(i)}))x_{j}^{(i)}\end{equation}


沒有留言:

張貼留言