[机器学习]第一周记录

这篇记录的内容来自于Andrew Ng教授在coursera网站上的授课。 

---

 

1.监督学习（supervised learning）：利用一组已知类别的样本来调整分类器的参数。

例子：房价的预估（有房价的数据来估计房价）、GDP的发展趋势。

2.分类模型(classification model)：预测某一样本属于某一类的概率。

例子：判读0~9中的一个数字。

3.回归模型(regression model)：从离散的样本集合中预测连续的样本的输出值。

例子：预测二手车的售价（二手车的各种要素->售价）。

---

1.非监督学习（unsupervised learning）：利用一组没有类别的样本来让分类器来识别各种模式、类型、结构。

例子：将网上相识内容聚集在一起、给你推送的知乎内容（社交网络）、市场分析。

2.聚类算法（clustering algorithm）：对相似的数据进行分类的算法。

例子：基因的判别、新闻。

3.鸡尾酒会问题(cocktail party problem)：语音识别问题。意思是解决语音识别技术（将杂音分离为若干人的说话声），能够同时听清十个人说话的能力。

---

 

1.一元线性回归：一个自变量，因变量和自变量为线性关系的回归模型。

h函数（hypothesis，中文为假设）,$h_{\theta}{(x)}=\theta_{0}+\theta_{1}x$

J函数，代价函数，此处使用平方差函数(squared error cost function)

(x⁽ⁱ⁾,y⁽ⁱ⁾)第i样样本，输入为x，输出为y

最小化$\frac{1}{2m}\sum{(h_{\theta}(x^{(i)})-y^{(i)})^2}$

代价函数$J(\theta_{0},\theta_{1})$

等高线图(counter plot)：相当于地理等高线图。对于同一个封闭的路径，路径上点所代表的误差是相同的。

我想，不用解释也看得懂吧。

2.梯度下降(gradient descent)：一种贪心算法。通过每次找到该点梯度最小方向并迈出一定的步长，从而达到局部最小值的算法。

对于一元线性回归模型：$\theta_{j+1}:=\theta_{j}-\alpha\frac{\partial}{\partial\theta_{j}}J(\theta_{0},\theta_{1})$

赋值符号、步长、偏微分

步长太小，速度太慢；步长太大，很容易远离最小值。

3.Octave软件使用。