摘要：
1 #include 2 using namespace std; 3 //批量梯度下降 4 int main() 5 { 6 double train_data[100][3]; 7 double learn_rate=0.01,loss=100; 8 9 fo... 阅读全文
摘要：
帮同学在线笔试做的，题目貌似是两个人同时从路两边开始给马路刷漆，一个人一天刷一米，另一个人一天刷3米。当马路长度为n米时，共有多少种刷法？ 看到题目的第一反应是很熟悉，以前做过类似的，然后脑海中突然闪过斐波那契，在网上搜了一下斐波那契，毕竟时间久了，细节记不得了，很顺利的写出了递推公式，写... 阅读全文
摘要：
Kd-树 其实是K-dimension tree的缩写，是对数据点在k维空间中划分的一种数据结构。其实，Kd-树是一种平衡二叉树。举一示例：假设有六个二维数据点 = {（2,3），（5,4），（9,6），（4,7），（8,1），（7,2）}，数据点位于二维空间中。为了能有效的找到最近邻，Kd-树采用... 阅读全文
摘要：
对于一个监督学习模型来说，过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂。对于特征集过小的情况，称之为欠拟合（underfitting）；对于特征集过大的情况，称之为过拟合（overfitting）解决此类学习问题的方法：1)特征选择算法：一类自动化算法，在这类回归问题中选择用到的特... 阅读全文
摘要：
在logistic方法中，g(z)会生成[0,1]之间的小数，但如何是g(z)只生成0或1？所以，感知器算法将g(z)定义如下：同样令，和logistic回归的梯度上升算法类似，学习规则如下：尽管看起来和之前的学习算法类似，但感知器算法是一种非常简便的学习算法，临界值和输出只能是0或1，是比logi... 阅读全文
摘要：
这是分类算法。之前的回归问题尝试预测的变量y是连续变量，在这个分类算法中，变量y是离散的，y只取{0,1}两个值。一般这种离散二值分类问题用线性回归效果不好。比如x3，y=1，那么当x>3的样本占得比例很大是，线性回归的直线斜率就会越来越小，y=0.5时对应的x判决点就会比3大，造成预测错误。若y取... 阅读全文
摘要：
一种特定的非参数学习算法。也称作Loess。算法思想：假设对于一个确定的查询点x，在x处对你的假设h(x)求值。对于线性回归，步骤如下：1)拟合出，使最小2)返回对于局部加权回归，当要处理x时：1)检查数据集合，并且只考虑位于x周围的固定区域内的数据点2)对这个区域内的点做线性回归，拟合出一条直线3... 阅读全文
摘要：
参数学习算法（parametric learning algorithm）定义：参数学习算法是一类有固定数目参数，以用来进行数据拟合的算法。设该固定的参数集合为。线性回归即使参数学习算法的一个例子非参数学习算法（Non-parametric learning algorithm）定义：一个参数数量会... 阅读全文
摘要：
昨天学习完了Ng的第二课，总结如下：过拟合；欠拟合；参数学习算法；非参数学习算法局部加权回归KD tree最小二乘中心极限定律感知器算法sigmod函数梯度下降/梯度上升二元分类logistic回归 阅读全文