2017年4月5日
摘要：
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 阅读全文
摘要：
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式： 目标函数 = 阅读全文
摘要：
在机器学习的算法评估中，尤其是分类算法评估中，我们经常听到精确率(precision)与召回率(recall)，RoC曲线与PR曲线这些概念，那这些概念到底有什么用处呢？ 首先，我们需要搞清楚几个拗口的概念： 1. TP, FP, TN, FN 听起来还是很费劲，不过我们用一张图就很容易理解了。图如 阅读全文
摘要：
交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓 阅读全文
摘要：
目前机器学习可以说是百花齐放阶段，不过如果要学习或者研究机器学习，进而用到生产环境，对平台，开发语言，机器学习库的选择就要费一番脑筋了。这里就我自己的机器学习经验做一个建议，仅供参考。 首先，对于平台选择的第一个问题是，你是要用于生产环境，也就是具体的产品中,还是仅仅是做研究学习用？ 1. 生产环境 阅读全文
摘要：
线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结。 1. 线性回归的模型函数和损失函数 线性回归遇到的问题一般是这样的。我们有m个样本，每个样本对应于n维特征和一个结果输出，如下： (x(0)1,x(0)2,...x(0)n,y0),(x(1)1,x(1)2,.. 阅读全文
摘要：
对于想深入了解线性回归的童鞋，这里给出一个完整的例子，详细学完这个例子，对用scikit-learn来运行线性回归，评估模型不会有什么问题了。 1. 获取数据，定义问题 没有数据，当然没法研究机器学习啦。:) 这里我们用UCI大学公开的机器学习数据来跑线性回归。 数据的介绍在这： http://ar 阅读全文
摘要：
首先要理解逻辑读和物理读： 预读：用估计信息，去硬盘读取数据到缓存。预读100次，也就是估计将要从硬盘中读取了100页数据到缓存。 物理读：查询计划生成好以后，如果缓存缺少所需要的数据，让缓存再次去读硬盘。物理读10页，从硬盘中读取10页数据到缓存。 逻辑读：从缓存中取出所有数据。逻辑读100次，也 阅读全文
摘要：
恢复内容开始 数据库范式（Normal forms）：是用于规范关系型数据库设计，以减少谬误发生的一种准则。 尽管有很多概念定义性的东西，但是在实际使用数据库的过程中仍然有很多不尽人意的地方，下面我通过一些实例和图片简要分析一下范式的特点，也是我对范式的一下个人的理解。本篇随笔我们主要通过第一范式（ 阅读全文
摘要：
SQL Server用户自定义函数和存储过程有类似的功能，都可以创建捆绑SQL语句，存储在server中供以后使用。这样能够极大地提高工作效率，通过以下的各种做法可以减少编程所需的时间： 重复使用编程代码，减少编程开发时间。 隐藏SQL细节，把SQL繁琐的工作留给数据库开发人员，而程序开发员则集中处 阅读全文