摘要：
支撑向量机的英文名叫: Support Vector Machine，是机器学习领域中的很重要的一种算法。它的思想背后有极强的统计理论的支撑，也是统计学上常用的一种方法。此算法在机器学习中既能解决分类问题，又能解决回归问题。且对真实的数据具有很好的泛化能力。 原理：考虑如下样本数据集，如何分辨此数据 阅读全文
摘要：
加载手写识别数字数据集 用逻辑回归训练 查看多分类问题的混淆矩阵 将数据与灰度值对应起来： 去除预测正确的对角线数据，查看混淆矩阵中的其他值 上图不仅可以看出哪个地方犯的错误多，还可以看出是什么样的错误，例：算法会偏向于将值为1的数据预测为9，将值为8的数预测为1。 在算法方面，应该考虑调整1、8、 阅读全文
摘要：
精准率和召回率是两个不同的评价指标，很多时候它们之间存在着差异，具体在使用的时候如何解读精准率和召回率，应该视具体使用场景而定 有些场景，人们可能更注重精准率，如股票预测系统，我们定义股票升为1，股票降为0，我们更关心的是未来升的股票的比例，而在另外一些场景中，人们更加注重召回率，如癌症预测系统，定 阅读全文
摘要：
IP/TCP协议 IP/TCP协议是一个协议族，而不是具体的协议。 OSI（Open System Interconnect），即开放式系统互联。 一般都叫OSI参考模型，是ISO（国际标准化组织）组织在1985年研究的网络互联模型。 按四层分为：网络接口层、网络层、传输层、应用层 按七层分为：物理 阅读全文
摘要：
分类准确度的问题 假如有一个癌症预测系统，输入体检信息，可以判断是否有癌症，准确度为99.9%，这个系统是好还是坏？ 如果癌症产生的概率本来就只有0.1%，那么即使不采用此预测系统，对于任何输入的体检信息，都预测所有人都是健康的，即可达到99.9%的准确率。如果癌症产生的概率本来就只有0.01%，预 阅读全文
摘要：
逻辑回归是使用回归的方式来解决分类问题。之前说过，逻辑回归只能解决二分类问题，为了解决多分类问题，可以使用OVR和OVO方法 OVR(One Vs Rest) 某个分类算法有N类，将某一类和剩余的类比较作为二分类问题，N个类别进行N次分类，得到N个二分类模型，给定一个新的样本点，求出每种二分类对应的 阅读全文
摘要：
scikit learn中的逻辑回归 构造数据集 import numpy import matplotlib.pyplot as plt numpy.random.seed(666) X = numpy.random.normal(0,1,size=(200,2)) 决策边界为二次函数 y = n 阅读全文
摘要：
逻辑回归解决二分类问题，但是像下图所示的非线性数据集，是没办法用一条直线分割为两部分的。 对于此数据集，用一个圆形或者椭圆形分割是比较合理的，圆形的表达式：$X_1^2 + X_2^2 R^2 = 0$ 为了让逻辑回归学习到这样的决策边界，我们需要引入多项式项，$X_1^2,X_2^2$分别是$X_ 阅读全文
摘要：
决策边界 我们可以看出 决定y取不同值的边界为：$$ \theta^T \cdot x_b = 0 $$ 上式表达式是一条直线，为决策边界，如果新来一个样本，和训练后得到的$ \theta $相乘，根据是否大于0，决定到底属于哪一类 画出决策边界 如果样本有两个特征$x1,x2$，则决策边界有：$\ 阅读全文
摘要：
逻辑回归方程 之前得出逻辑回归的损失函数： $$ J(\theta) = \frac{1}{m}\sum_{i=1}^{m}y^{(i)}log(\sigma (X _b^{(i)} \cdot \theta))+(1 y^{(i)})log(1 \sigma (X_b^{(i)} \cdot \t 阅读全文