吴恩达机器学习课程笔记1-引言和线性回归模型

1 引言

1. Machine Learning 应用
   
2. What is Mechine Learning
   
3. Machine Learning Algorithms
   
4. 监督学习

• 例子1：使用一次或者二次函数模型拟合房价(线性模型非线性模型)
  这也是一个回归问题(Regression):
  
• 例子2：分类问题(二分类，多分类)
  
  多特征问题
  
• 使用支持向量机(SVM):可以处理无限特征问题
  SVM 是一个非常优雅的算法，具有完善的数学理论，但是如今工业界用到的不多

5. 无监督学习

• 聚类算法: 新闻聚类,基因聚类

• 机器学习的三大基本模型
  Regression

2 模型描述

1. 线性回归，一元线性模型
   
2. cost function
   
3. 线性回归模型
   

• h(x)和J(x)可视化加以理解
  

4. 二维的损失函数,梯度下降法

• 三维函数表示方式
  
• 等高线表示
  

5. 梯度下降：以线性回归为例
   

• 可视化理解寻找局部最优解
  
• 数学原理
  梯度:代表着导数变化最大的方向，减去梯度表示函数下降速度最快
  梯度分量:每个分量同时减去梯度分量,总体上按照梯度方向在下降
  步伐：每个梯度分类乘以一个相同的值，进行不同扩大或缩小,以加快或降低下降的速度
• 各个分量只有进行同步下降才能按照梯度的方向进行下降
  

6. 梯度下降知识点

• 直观理解偏导数意义
  
• 直观理解步伐(学习率)意义:收敛和发散
  
• 初始值在最低点理解
  
• 使用固定学习率,也会达到局部最优解，接近最小值时，导数会不断减小
  

7. 线性回归的梯度下降

• 计算梯度
  
  
• Batch Gradient Descent: 每次下降使用所有train examples
  

参考

机器学习笔记
视频课程