Readme 《Machine Learning by Andrew NG》

本文系列内容是吴恩达老师的机器学习公开课的文本对应。需要具备英文，微积分，线性代数，程序设计的基础。从第二周开始有编程作业，到第九周。总共8个作业。感谢吴恩达老师⸜₍๑•⌔•๑ ₎⸝

2021年9月10日 2021年12月11日。三个月学完了，得分 99.21，代码满分全部向量化实现。将近一个学期。

在自己的coursera账号的profile里出现了机器学习课程完成的标志。 如果要证书的话需要377人民币，想想也算了。这只是一个前导课程，后续更高级的是这门课 Deep Learning Specialization。有机会可以学一下。

这门课最舒畅的时候是向量化实现代码的时候。协同过滤那用了三行代码直接就过了，那种感觉非常棒！

分为11周。总共8个作业，最后一个作业是9周的。后两周没有作业。

官方的Transcript有很多的错误，语法不通，意思不通。所以我根据视频做了修正。修订工作很困难。

如果大家发现什么错误，下面评论区可以指出来。我去改。

第一周的视频的英文记录相对比较重要，他是老师授课风格，授课习惯用词，授课习惯用语的整体展现。同时，因为是第一周，很多新的领域的词语会大幅度出现，因此一个英文文本对于我们是很重要的。

如果仔细阅读了第一周的所有英文资料，那么接下来的几周，我们就有能力去面对一个纯净的英文版视频，即我们可以听着英文，来学习。当然，不懂的词还是要记下来。只不过任务繁重程度较第一周会小一些。之后的内容需要用到我们的脑子了。

有一个现象很好玩。看完一半的课程只花了不到10天。当然不是一直看。但是仅仅第一个星期的文档校对整理，和阅读，花了超过20天。

我们可以通过打印网页，缩放比145，获得纯净版的文本。没有侧边栏。

学习永不停止。

Confused

1. 利用线性代数的知识，一次性求出 参数。normal equation.
2. 特征缩放，是缩放输入数据，另一种是正则化参数。缩放输入数据使得他们处于同一个规模，加快梯度下降百分之速度。缩放参数是将拟合函数变得更简单，防止过拟合。老师给了很多直觉的东西，但数学上似乎还得去再看 概率论。
3. 正则化参数分为线性回归模型和逻辑回归模型。这两个的代价函数还得再看看。
4. 神经网络是利用多层的简单逻辑回归线性模型的组合，每层简单的逻辑回归线性模型输出一个sigmoid激活函数预测值，在01之间。输出到下一层的简单逻辑回归线性模型。形成非线性的复杂的逻辑回归。有直觉，但是为什么？
5. 神经网络的代价函数并不是一个convex 函数，所以可能出现全局最优解，和局部最优解。但是逻辑回归的代价函数基本同神经网络的代价函数没什么区别。除了神经网络的预测函数是多个预测函数的复合。因此就从convex函数到了non-convex函数。有一点直觉，具体不太清楚。
6. SVM, 当C=10000很大时，整个寻找最优解的过程就会更长。同时因为精度提高，会出现错误分类的情况。
   
   一旦θ确定，那么决策边界就确定，向量θ总是垂直于决策边界。
   利用Guassian kernel扩充了θ的维度。原来可能是二维的x二维的θ，经过kernel就变成了数据量的维度，若有10000个训练样本，那么整个计算预测的过程就变成了10001维的f以及θ，1是interpretation。初步理解是扩充了项数类似增加新变量，不过整个kernel的图像又是一个正态分布，而另一个老师所讲的理解是原数据变成了一个正态分布，从数轴上凸出来了。类似一种高维映射。不太懂了。
   同时课程的Trainscript等日后真的理解再做修正吧。课程网站上的应该是机器翻译，这节错误很多。
7. SVM速度快，同时得到的是全局最优解。相比之下，神经网络速度会慢很多，得到的结果常常是局部最优解。当数据量特别大的时候，计算SVM的kernel会非常的困难，i.e. m=100万。这个时候用logistic regression会好很多。ppt上说，用svm的非核版本也不错。但是这里有一个线性和非线性的问题。
8. 多分类问题，逻辑回归做了一个手写数据集的分类，当时是做了，但现在有点忘了。是做了10种θ吗？是线性还是非线性？(Week3 OnevsAll, 是做了10次θ的求解，每个θ是一个vector，最后放到一个matrix里了。至于线性还是非线性，逻辑回归就是线性的，但是400维的线性已经非常之复杂了。足以达到90+的正确预测率)
9. SVM这周作业，spam相关用了很多正则表达式过滤各种非必要的词语。这个从python开始接触到就一直感觉特别懵。有机会得好好看看，编译原理讲的就是这个东西。