應性線性神經元模型跟感知器模型很像,差別在於它使用的激勵函數 (Activation function) 是條斜率為1的直線 (所以可微分; 步階函數在0點不可微) 而且權值的更新在通過步階函數之前
也因為這樣這邊可以導入 Cost function 方式來估計錯誤率,並透過所謂梯度下降的方式讓 錯誤率 達到最低 (Global Minimum or Local Minimum)
這邊所用的 Cost function 可定義為:
\begin{equation} J(w) = \frac{1}{2}\sum_{i}(y^{(i)}-\phi(z^{(i)}))^{2}\end{equation}
update weight (w 迭代):
\begin{equation} w_{j} := w_{j} + \Delta w_{j}\end{equation}
其中
\begin{equation}\Delta w_{j} = -\eta\bigtriangledown J(w_{j})=\eta\sum_{i}(y^{(i)}-\phi(z^{(i)}))x_{j}^{(i)}\end{equation}
沒有留言:
張貼留言