machine learning(15) --Regularization:Regularized logistic regression

Regularization:Regularized logistic regression

without regularization

 

• • 当features很多时会出现overfitting现象，图上的cost function是没有使用regularization时的costfunction的计算公式

 

with regularization

 

• • 当使用了regularization后，使θ_1到n不那么大(因为要使J(θ)最小，θ₁²+θ₂².....θ_n²->0这时θ_j要趋向于0),这样可以避免overfitting出现，如上图中的粉色线的decision boundary.
  • 注意不用对θ₀使用regularization

Gradient descent

• without regularization

           

• with regularization

           

• • 与linear regression在形式上相似，但是它们的h_θ(x)不一样

Advanced optimization method

• • 在matlab和octave中，index都是从1开始的

  • [theta, cost] = ...
    fminunc(@(t)(costFunction(t, X, y)), initial_theta, options); %调用matlab的自带的函数fminunc, @(t)(costFunction(t, X, y))创建一个function,参数为t,调用前面写的 costFunction函数, 返回求得最优解后的theta和cost