ooon - 博客园

2016年3月

(六) 6.2 Neurons Networks Backpropagation Algorithm

摘要：今天得主题是BP算法。大规模的神经网络可以使用batch gradient descent算法求解，也可以使用 stochastic gradient descent 算法，求解的关键问题在于求得每层中每个参数的偏导数，BP算法正是用来求解网络中参数的偏导数问题的。先上一张吊炸天的图，可以看到BP 阅读全文

posted @ 2016-03-16 18:49 ooon 阅读(1073) 评论(0) 推荐(0) 编辑

(六) 6.1 Neurons Networks Representation

摘要：面对复杂的非线性可分的样本是，使用浅层分类器如Logistic等需要对样本进行复杂的映射，使得样本在映射后的空间是线性可分的，但在原始空间，分类边界可能是复杂的曲线。比如下图的样本只是在2维情形下的示例，假设有100维度，即特征数目是100，若使用logistic来做分类，对于这种线性不可分的情形，阅读全文

posted @ 2016-03-06 17:03 ooon 阅读(907) 评论(0) 推荐(0) 编辑

2015年11月

本地工程提交github

摘要： 1. 首先在github上创建一个新的Repository2. 在本地windows机器上装上git3. 建立一个文件夹，以后就用这个文件夹作为与Repository对应的库文件夹4. 输入一下命令，建立文件夹与Repository的连接关系touch README.mdgit initgit ad... 阅读全文

posted @ 2015-11-24 16:55 ooon 阅读(367) 评论(0) 推荐(0) 编辑

（五）用正则化(Regularization)来解决过拟合

摘要： 1 过拟合过拟合就是训练模型的过程中，模型过度拟合训练数据，而不能很好的泛化到测试数据集上。出现over-fitting的原因是多方面的： 1）训练数据过少，数据量与数据噪声是成反比的，少量数据导致噪声很大 2 ）特征数目过多导致模型过于复杂，如下面的图所示：看上图中的多项式回归（Polyno 阅读全文

posted @ 2015-11-14 15:15 ooon 阅读(9322) 评论(0) 推荐(0) 编辑

（三）用Normal Equation拟合Liner Regression模型

摘要：继续考虑Liner Regression的问题，把它写成如下的矩阵形式，然后即可得到θ的Normal Equation. Normal Equation： θ=(XTX)-1XTy 当X可逆时，(XTX)-1XTy = X-1，(XTX)-1XTy其实就是X的伪逆（Pseudo inverse）。这... 阅读全文

posted @ 2015-11-08 19:48 ooon 阅读(1692) 评论(0) 推荐(0) 编辑

（二）深入梯度下降(Gradient Descent)算法

摘要：一直以来都以为自己对一些算法已经理解了，直到最近才发现，梯度下降都理解的不好。1 问题的引出对于上篇中讲到的线性回归，先化一个为一个特征θ1，θ0为偏置项，最后列出的误差函数如下图所示：手动求解目标是优化J(θ1)，得到其最小化，下图中的×为y(i)，下面给出TrainSet，{(1,1),(2,2... 阅读全文

posted @ 2015-11-08 17:34 ooon 阅读(101616) 评论(4) 推荐(6) 编辑

（一）线性回归与特征归一化(feature scaling)

摘要：线性回归是一种回归分析技术，回归分析本质上就是一个函数估计的问题（函数估计包括参数估计和非参数估计），就是找出因变量和自变量之间的因果关系。回归分析的因变量是应该是连续变量，若因变量为离散变量，则问题转化为分类问题，回归分析是一个有监督学习问题。线性其实就是一系列一次特征的线性组合，在二维空间中是阅读全文

posted @ 2015-11-08 15:01 ooon 阅读(28717) 评论(1) 推荐(2) 编辑

这篇博客的内容基本没见过，mark 一下以后可以学习

摘要：初识机器学习算法有哪些？初识机器学习算法有哪些？机器学习无疑是现在数据分析领域的一个重要内容，凡事从事IT工作领域的人都在平时的工作中或多或少的会用到机器学习的算法。机器学习有很多算法，不过大的方面可分为两类：一个是学习的方式，一个是算法的类似性。学习方式：根据数据类型的不同，对一个问题的阅读全文

posted @ 2015-11-04 15:58 ooon 阅读(852) 评论(0) 推荐(0) 编辑

(四)Logistic Regression

摘要： 1 线性回归回归就是对已知公式的未知参数进行估计。线性回归就是对于多维空间中的样本点，用特征的线性组合去拟合空间中点的分布和轨迹，比如已知公式是y=a∗x+b，未知参数是a和b，利用多真实的(x,y)训练数据对a和b的取值去自动估计。估计的方法是在给定训练样本点和已知的公式后，对于一个或多个未知参阅读全文

posted @ 2015-11-03 21:34 ooon 阅读(1482) 评论(0) 推荐(0) 编辑

2015年10月

中文分词系列（二）基于双数组Tire树的AC自动机

摘要：秉着能偷懒就偷懒的精神，关于AC自动机本来不想看的，但是HanLp的源码中用户自定义词典的识别是用的AC自动机实现的。唉～没办法，还是看看吧AC自动机理论Aho Corasick自动机，简称AC自动机，要学会AC自动机，我们必须知道什么是Trie，也就是字典树。Trie树，又称单词查找树或键树，是一... 阅读全文

posted @ 2015-10-21 17:20 ooon 阅读(4067) 评论(2) 推荐(0) 编辑

公告