雪饮者

摘要： 黑格尔说任何事物都有质和量两方面的规定性，二者是辩证统一的。今天想谈谈质量互变过程的意义及应用。 先谈一个比较浅显易懂的：一个鸡蛋孵化成鸡的过程。鸡蛋之所以成为鸡蛋，是由于人在认识它的时候规定了它的所有本质属性（比如由蛋黄、蛋清、蛋壳组成），而鸡也是如此，显然这是两个不同的事物。那么考虑这样一个事实 阅读全文

摘要： BP 神经网络中的 BP 为 Back Propagation 的简写，最早它是由Rumelhart、McCelland等科学家于 1986 年提出来的，Rumelhart 并在Nature 上发表了一篇非常著名的文章 《Learning representations by back-propag 阅读全文

摘要： 正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 阅读全文

摘要： 今天介绍CRFs在中文分词中的应用 工具：CRF++,可以去 https://taku910.github.io/crfpp/ 下载，训练数据和测试数据可以考虑使用bakeoff2005,这是链接 http://sighan.cs.uchicago.edu/bakeoff2005/ 首先需要了解一些 阅读全文

摘要： 说到xgboost，不得不说gbdt，两者都是boosting方法（如图1所示），了解gbdt可以看这篇文章 地址。 如果不考虑工程实现、解决问题上的一些差异，xgboost与gbdt比较大的不同就是目标函数的定义。 注：红色箭头指向的l即为损失函数；红色方框为正则项，包括L1、L2；红色圆圈为常数 阅读全文

摘要： 改进的迭代尺度法（Improved Iterative Scaling），在很多模型求解中用到，比如最大熵、CRFs等，对模型是对数线性模型的似然都适用。这个算法的思想也很简单，通俗的理解就是通过两个不等式变形优化下界，从而迭代到收敛的算法。 用到两个不等式，对 α>0 ： (1) 对 p(x)是一 阅读全文

摘要： 今天要介绍的TextRank是一种用来做关键词提取的算法，也可以用于提取短语和自动摘要。因为TextRank是基于PageRank的，所以首先简要介绍下PageRank算法。 1.PageRank算法 PageRank设计之初是用于Google的网页排名的，以该公司创办人拉里·佩奇（Larry Pa 阅读全文

摘要： 今天要介绍的最小二乘法是用来做参数估计的方法，笔者把同济大学高等数学第六版下册翻了一下，觉得书中所讲句句珠玑，已经无可挑剔了，就“照本宣科”了。 “许多工程问题，常常需要根据两个变量的几组实验数值——实验数据，来找出这两个变量的函数关系的近似表达式，通常把这样得到的函数的近似表达式叫做经验公式，经验 阅读全文

摘要： 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其 阅读全文

摘要： 应朋友之约，在这里简要谈一下过拟合的问题。 给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。这是Tom Mitchell在Machine Learning中对过拟合给出的定义 阅读全文