2017 年 8月随笔档案 - 郑哲

大规模机器学习

摘要：第十三讲. 大规模机器学习——Large Scale Machine Learning （一）、为什么要大规模机器学习？（二）、Stochastic和Batch梯度下降（三）、Mini-Batch梯度下降（四）、在线学习（Online Learning）（五）、MapReduce和并行计算原阅读全文

posted @ 2017-08-24 15:42 郑哲阅读(338) 评论(0) 推荐(0) 编辑

推荐系统

摘要：本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检阅读全文

posted @ 2017-08-24 15:30 郑哲阅读(355) 评论(0) 推荐(0) 编辑

高斯分布（正态分布）

摘要：~：服从于，这里是x服从于高斯分布的意思。随着离μ的距离不断增大p(x)逐渐趋向于0. 参数对高斯公式图像的影响，但是高斯公式的总面积始终为1 参数的值阅读全文

posted @ 2017-08-24 07:17 郑哲阅读(599) 评论(0) 推荐(0) 编辑

异常检测

摘要：异常检测：判断测试集是否异常。如下例中对飞机引擎的判断：我们建立评估模型概率模型p(x)来判断，如果p(x)<ε异常，反之正常用处举例：购物网站用户异常检测，计算机集群异常检测算法实现：建立评估模型： 1.选择相应的变量。 2.变量拟合高斯分布。 3.计算概率。两个参数时的概率模型图：阅读全文

posted @ 2017-08-24 07:07 郑哲阅读(320) 评论(0) 推荐(0) 编辑

主成分分析法的应用

摘要：我们通过PCA把二维数据降到一维。那么怎么把一维数据变回二维通过X=UZ 我们得到的点都在z轴上这个X十分解决x了如何去选择k值 PCA的成本函数：总变差（这些x长度的平方均值）: 意味这我的平均向量离0向量有多远我们选择k使下面的公式成立：使得99%差异性得到保留除了0.01，人们阅读全文

posted @ 2017-08-23 16:29 郑哲阅读(573) 评论(0) 推荐(0) 编辑

主成分分析法（PCA）

摘要：比如说我们有两个特征变量，我们想让他变成一个变量首先我们画一条线，做各个点到这条线上的投影，箭头所指的蓝色线段为投影误差，PCA不会选择红色这条线投影，因为投影误差太大了。所以PCA的目标是使投影误差最小化 PCA和线性回归的区别线性回归的误差来自竖直方向，而PCA的误差来自垂直方向 PCA 阅读全文

posted @ 2017-08-23 15:09 郑哲阅读(347) 评论(0) 推荐(0) 编辑

数据降维和可视化

摘要：当有两个特征变量为厘米和英尺时，我们可以把两个特征变量降为1个两个变量的值几乎呈线性关系，相关性很强于是得到下图的新的变量：同样可以把3维降到2维：维数约减同样可以用在高维度。数据可视化当我没有大量变量，比如有50个我们可以用维数减约来降到两维从而使数据可视化阅读全文

posted @ 2017-08-23 14:36 郑哲阅读(616) 评论(0) 推荐(0) 编辑

聚类

摘要：无监督学习聚类：对数据进行分类 1.K均值算法先选两个中心簇分类：根据离两个点的距离远近，把数据分成两类移动中心，移动到各类的中心：不断循环上面的步骤输入： 1.K-分类的个数。 2.训练集算法：如果在循环过程中一个类没有和他最近的点， 1.移除这个类，也就是减少一个类 2.随机产阅读全文

posted @ 2017-08-22 19:03 郑哲阅读(383) 评论(0) 推荐(0) 编辑

支持向量机的实现

摘要：使用SVM优化包（liblinear,libsvm)来求θ 我们要做得： 1.选择适当的C值 2.选择相应的核函数我们也可以不选择核函数（称为线性核函数）弊端：如果你有大量的特征变量如果 n 很大而训练集的样本数 m 很小那么你知道你有大量的特征变量 x 是一个 n+1 维向量 x 阅读全文

posted @ 2017-08-22 18:19 郑哲阅读(279) 评论(0) 推荐(0) 编辑

支持向量机核函数

摘要：当我们要去判断一个非线性的区域，我们会选择用非线性函数来拟合。问题是能不能选择别的特征变量或者有没有比这些高阶项更好的特征变量因为我们并不知道这些高阶项是不是我们真正需要的我们之前谈到计算机视觉的时候提到过这时的输入是一个有很多像素的图像我们看到如果用高阶项作为特征变量运阅读全文

posted @ 2017-08-22 13:01 郑哲阅读(920) 评论(0) 推荐(0) 编辑

支持向量基

摘要：强大的算法广泛的应用于工业界和学术界它被称为支持向量机(Support Vector Machine) 与逻辑回归和神经网络相比支持向量机或者简称SVM 在学习复杂的非线性方程时、提供了一种更为清晰更加强大的方式 Logistic回归的替代观点 J(θ)=-(yloghθ(x)+(1 阅读全文

posted @ 2017-08-22 12:13 郑哲阅读(254) 评论(0) 推荐(0) 编辑

倾斜类误差度量

摘要：癌症分类例子：训练逻辑回归模型hθ(x).(如果有癌症则为1，没有为0）我们在测试集中得到1%的错误率,看起来不错但是假如我们发现在测试集中只有0.5%的患者真正得了癌症因此在我们的筛选程序里只有0.5%的患者患了癌症只有0.5%的错误率，显然只考虑误差率不合适因为你可能会获阅读全文

posted @ 2017-08-22 09:58 郑哲阅读(568) 评论(0) 推荐(0) 编辑

构建垃圾邮件分类器

摘要：优先考虑什么工作系统设计实例：给定一个数据集的电子邮件，我们可以构建一个向量的每一封电子邮件。在这个向量的每个条目代表一个字。该向量通常包含10000到50000个条目，这些集合是通过查找数据集中最常用的词来收集的。如果在电子邮件中找到一个词，我们将把它的条目指定为1，否则如果找不到，该条目将是阅读全文

posted @ 2017-08-21 19:18 郑哲阅读(2409) 评论(0) 推荐(0) 编辑

面板数据模型

摘要：一、什么是面板数据模型而数据较少，回归不准确面板数据模型； β0 阅读全文

posted @ 2017-08-21 11:02 郑哲阅读(1451) 评论(0) 推荐(0) 编辑

竞争模型

摘要：一、Logistic模型(只有一个种群） x(t):t时种群数量 K：环境容纳量 r:种群增长率 dx/dt=rx(1-x/k) 其中x/k为已占用空间 x=k/(1+(k-x0)*e-rt/x0 x0:初值二、L-V种群竞争模型 x1(t),x2(t):t时种群1,2数量 K1,K2,:种群1，阅读全文

posted @ 2017-08-21 10:03 郑哲阅读(1994) 评论(0) 推荐(0) 编辑

偏差vs方差

摘要：在这部分我们检验多项式层数d和过拟合和欠拟合之间的关系。 1.我们区分是否是偏差或方差导致我们预测错误。 2.大偏差是欠拟合，大方差是过拟合。理想情况下，我们需要在这两者之间找到中庸之道。当我们增加多项式的D时，训练误差会减小。同时，交叉验证误差会随着d增加到一个点而减小，然后随着d的增加而增大阅读全文

posted @ 2017-08-19 19:08 郑哲阅读(530) 评论(0) 推荐(0) 编辑

评估假设

摘要：如果我们对我们的预测中的错误进行了一些解决： 1.更多的训练样本 2.减少变量 3.尝试额外的参数 4.在多项式的参数 5.增加或减少λ 我们可以评估我们的新假设假设可能有一个低误差的训练例子但仍然是不准确的（因为过度拟合）。因此，为了评估一个假设，给定训练样本的数据集，我们可以将数据分成两组：一阅读全文

posted @ 2017-08-19 14:04 郑哲阅读(325) 评论(0) 推荐(0) 编辑

遗传算法

摘要：结论： 1.遗传算法本质上是一种启发式的随机搜索算法，所以由遗传算法得出的结果每次都不相同。 2.自变量在给定的约束条件下进行了无缝编码（即这种编码方式能够表达解空间中的所以可行解），所以从理论上讲，遗传算法总有很多机会得到全局最优结果而不是局部最优解。阅读全文

posted @ 2017-08-19 12:58 郑哲阅读(839) 评论(0) 推荐(0) 编辑

灰色模型

摘要：1.灰色模型为预测模型。预测模型一般用回归分析（需要大量数据，数据较少会造成较大误差）优点：灰色模型需要的数据较少，运算方便，是处理小样本预测的有效工具。缺点：不考虑系统内在机理，有所会出现较大错误。在内在机理明确的系统中，不推荐使用。 2.特点：（1）用灰色数学处理不确定量，使之量化（2）阅读全文

posted @ 2017-08-15 16:36 郑哲阅读(1442) 评论(0) 推荐(0) 编辑

神经网络（总代码）

摘要：首先，选择一个网络体系结构；选择你的神经网络的布局，包括每个层有多少隐藏单元，以及你想要拥有多少层。 1.输入层的节点数=x(i)的维度 2.输出层的节点数=分类的数量 3.每层隐藏单位数=通常更好（必须与计算成本相平衡，因为它增加了隐藏单位） 4.默认值：1隐藏层。如果你有超过1个隐藏层，那么建议阅读全文

posted @ 2017-08-09 18:04 郑哲阅读(317) 评论(0) 推荐(0) 编辑

随机初始化（代码实现）

摘要：将所有θ权重初始化为零并不适用于神经网络。当我们反向传播，所有节点将更新为相同的值反复。我们可以为我们的Θ矩阵随机初始化使用以下方法我们的砝码：因此，我们初始化每个在[−ϵ，ϵ]。使用上述公式保证我们得到期望的约束。同样的程序适用于所有的Θ的。下面是一些工作的代码，你可以使用实验。 If the 阅读全文

posted @ 2017-08-09 16:58 郑哲阅读(601) 评论(0) 推荐(0) 编辑

梯度检测（代码实现）

摘要：梯度检查将确保我们的反向传播工作的预期。我们可以把我们的成本函数的导数近似为：多θ的矩阵，我们可以近似导数ΘJ如下：对于ϵ小值（ε）如ϵ= 10−4，保证了正确的数学。如果ϵ的值足够小，我们可以最终数值问题。因此，我们只添加或减去ε的ΘJ矩阵。在matlab我们可以如下做： epsilon = 阅读全文

posted @ 2017-08-09 16:51 郑哲阅读(492) 评论(0) 推荐(0) 编辑

实现注意：展开参数

摘要：我们使用神经网络处理矩阵集合：为了使用优化功能，如“fminunc()”，我们会想“打开”所有的元素放在一个长的矢量： thetaVector = [ Theta1(:); Theta2(:); Theta3(:); ]deltaVector = [ D1(:); D2(:); D3(:) ] 如阅读全文

posted @ 2017-08-09 16:40 郑哲阅读(185) 评论(0) 推荐(0) 编辑

反向传播的直觉

摘要：回想一下，神经网络的代价函数是：如果我们考虑简单的非多类分类（k＝1）和无视正规化，则计算成本：更正式地说，delta值实际上是成本函数的导数：回想一下，我们的导数是与成本函数相切的直线的斜率，所以斜率越陡，我们就越不正确。让我们考虑下面的神经网络在看我们如何计算一些：阅读全文

posted @ 2017-08-09 16:28 郑哲阅读(164) 评论(0) 推荐(0) 编辑

神经网络反向传播算法（4，5）

摘要：“反向传播”是最小化成本函数的神经网络术语，就像我们在logistic回归和线性回归中的梯度下降一样。我们的目标是计算：也就是说，我们希望在θ中使用一组最优参数来最小化我们的成本函数j。在这一节中我们将看看我们用来计算J（Θ）的偏导数方程：为此，我们使用下面的算法：反向传播算法实现： 1.得到阅读全文

posted @ 2017-08-09 16:16 郑哲阅读(185) 评论(0) 推荐(0) 编辑

神经网络的成本函数

摘要：让我们首先定义一些需要用到的变量： L:神经网络的层数； Sl：第l层神经网络节点数量； K：神经网络输出层节点数；回想一下，在神经网络中，我们可能有许多输出节点。我们HΘ(x)k表示一个假设的结果在第k个输出节点的输出。我们的神经网络的成本函数将是我们用于逻辑回归的一个推广。回顾正规logis 阅读全文

posted @ 2017-08-09 15:28 郑哲阅读(838) 评论(0) 推荐(0) 编辑

神经网络（多级分类）

摘要：为了将数据分类为多个类，我们让我们的假设函数返回一个值向量。说我们想把我们的数据分为四类。我们将使用下面的例子来看看这个分类是如何完成的。该算法以图像为输入，对图像进行分类：我们可以将我们的结果类定义为y：每个y（i）代表与汽车、行人、卡车或摩托车相对应的不同图像。内层，每一层都为我们提供了一些阅读全文

posted @ 2017-08-09 15:07 郑哲阅读(1760) 评论(0) 推荐(0) 编辑

神经网络案例2

摘要：的Θ（1）矩阵的且，或，非：我们可以把这些拿到”同“逻辑运算符（如果X1和X2都是0或1则为1）。在第一层和第二层之间的过渡，我们将使用一个Θ（1）相结合的和矩阵：第二和第三层之间的过渡，我们将使用一个Θ（2）矩阵的使用价值或：让我们写下我们所有的节点的值：我们有了同或算子使用隐藏层节点！阅读全文

posted @ 2017-08-09 15:00 郑哲阅读(166) 评论(0) 推荐(0) 编辑

神经网络案例1

摘要：应用神经网络的一个简单例子是预测X1和x2，这是逻辑“和”运算符，只有X1和x2为1时才是真的。函数的图看起来像：记住，x0是我们的偏差变量始终是1。让我们把第一个θ矩阵设为：如果当x1和x2都为1这将使我们的结果都为真。换言之：所以我们用一个小的神经网络，而不是用一个实际的门来构造计算机阅读全文

posted @ 2017-08-09 08:34 郑哲阅读(248) 评论(0) 推荐(0) 编辑

神经网络2

摘要：要重新迭代，下面是一个神经网络的例子：在本节中我们将做一个以上的功能量化的实施。我们将定义一个新的变量zk(j)，它包含g函数中的参数。在我们前面的示例中，如果我们为所有参数替换变量z，我们将得到：换句话说，对于层j = 2和节点k，变量z将是：最后一个Θ(j)矩阵为一维，我们最终得到的结果为阅读全文

posted @ 2017-08-08 21:34 郑哲阅读(122) 评论(0) 推荐(0) 编辑

神经网络

摘要：让我们研究一下如何用神经网络表示一个假设函数。在一个非常简单的层次上，神经元基本上是计算单元，它把输入（树突）作为电输入（称为“尖峰”），引导到输出（轴突）。在我们的模型中，我们的树突就像输入特征X1⋯xn，而输出则是我们的假设函数的结果。在这个模型中我们X0输入节点有时被称为“偏差”。它总是等于1 阅读全文

posted @ 2017-08-08 21:29 郑哲阅读(149) 评论(0) 推荐(0) 编辑

逻辑回归的正则化

摘要：我们可以规范logistic回归以类似的方式，我们对线性回归。作为一个结果，我们可以避免过拟合。下面的图像显示了正则化函数，用粉红色的线显示出来，是不太可能过度拟合非正则的蓝线表示功能：成本函数我们可以使这个方程的最后添加一个项：第二个和，意思是明确排除二次项。阅读全文

posted @ 2017-08-08 21:10 郑哲阅读(1624) 评论(0) 推荐(0) 编辑

正则化的线性回归

摘要：我们可以运用正则化的线性回归和logistic回归。我们先尝试线性回归。梯度下降我们将会把θ0修改梯度下降函数从其余的参数分离出来，因为我们不想惩罚θ0。执行我们的正则化。通过一些操作，我们的更新规则也可以表示为：在第一项、1−αλM永远小于1。直觉上你可以看到它在降低θJ值一定都更新。请注阅读全文

posted @ 2017-08-06 18:44 郑哲阅读(459) 评论(0) 推荐(0) 编辑

惩罚项

摘要：如果我们有过从我们的假设函数，我们可以降低权重，再函数中的增加一些项来增加他们的成本。比如我们要使下面的函数二次项的权重增大：我们要减小θ3x3和θ4x4的影响。实际上，如果不排除这些特性或改变我们假设的形式，我们可以修改我们的成本函数：我们已经对最后的θ3和θ4增加了额外的成本。现在，为了使阅读全文

posted @ 2017-08-06 13:07 郑哲阅读(1753) 评论(0) 推荐(2) 编辑

ACM算法

摘要：数据结构栈，队列，链表 •哈希表，哈希数组 •堆，优先队列双端队列可并堆左偏堆 •二叉查找树 Treap 伸展树 •并查集集合计数问题二分图的识别 •平衡二叉树 •二叉排序树 •线段树一维线段树二维线段树 •树状数组一维树状数组 N维树状数组 •字典树 •后缀数组，后缀树 •块状链阅读全文

posted @ 2017-08-04 09:48 郑哲阅读(265) 评论(0) 推荐(0) 编辑

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论