机器学习的基本概念
1 什么是machine learning？
looking for function
function的类别
Regression：输出的是一个量（连续量）
Classification：输出的是某个类别（离散量）
Structured Learning：创造一些有结构的东西
机器怎么找function
-
function with unknown parameters（未知参数的函数）
Model ：y = a*x + b; a，b未知，预测y
a：weight（权重），b：bias（偏移量）
-
define Loss from training data
Loss是一个函数L(a,b)，Loss用来评估当前参数的优良程度，预测值与真实值（label）之间偏差程度（误差），将误差可视化error surface
-
optimization
找参数a，b使得Loss最小
方法：Gradient Descent（梯度下降）
-
随机选取一个初始值
-
求这一点处的导数，研究曲线单调性，更新参数值，使得Loss减小
更新参数的步长（即一次增加或减少多少）是由这一点处导数大小和learning rate决定的，这个参数由人设定（hyperparameters）
-
迭代上述两步操作
⭐注意理解一下第二步更新w的公式中w1 = w0 - rate*导数
当导数>0，则Loss函数在这个邻域内单调递增，而要更新w使得Loss减小，因此需要w向负方向移动，因此减去rate*导数即可
当导数<0，则Loss函数在这个邻域内单调递减，而要更新w使得Loss减小，因此需要w向正方向移动，因此减去rate*导数即可
-
