随笔分类 - 机器学习
摘要：逻辑回归是一种分类算法，虽然名字中带有回归。但是它与回归之间有一定的联系。 逻辑回归的原理： 输入 逻辑回归的输入就是一个线性回归的结果 sigmoid函数（激活函数） 回归的结果输入到sigmoid函数当中输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值逻辑回归最终的分类是通过属于某个
阅读全文
摘要：线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 特点：只有一个自变量的情况称为单变量回归，大于一个自变量情况的叫做多元回归 通用公式：h(w) = w1x1+w2x2+w3x3+...+b=wTx +
阅读全文
摘要：决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法，其原理是基于信息熵和信息增益。 信息熵的定义H的专业术语称之为信息熵，单位为比特。 信息和消除不确定性是相联系的,当得到的额外信息越多的话，那么猜测的代价越小，当得知某个
阅读全文
摘要：朴素贝叶斯中的朴素一词的来源是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单，但有时会牺牲一定的分类准确率。朴素贝叶斯经常会用于文本分类，它的思想是基于条件概率和联合概率： 条件概率：事件A在另外一个事件B已经发生的条件下发生的概率 记作：P(A|B)特性：P(A1,A2|B) = P(
阅读全文
摘要：K-近邻算法又称KNN算法，最早是由Cover和Hart提出的一种分类算法，其原理非常简单，主要是根据计算两个样本之间的距离从而对样本进行预测分类，常用的距离计算公式有欧氏距离： 根据未知样本与已知样本的欧式距离，计算出距离最近的样本，则其为预测样本的类别 在Python的sklearn中使用KNN
阅读全文
