摘要:
''' 1.分类模型之混淆矩阵: 每一行和每一列分别对应样本输出中的每一个类别,行表示实际类别,列表示预测类别。 A类别 B类别 C类别 A类别 5 0 0 B类别 0 6 ... 阅读全文
摘要:
''' 分类之交叉验证: 由于数据集的划分有不确定性,若随机划分的样本正好处于某类特殊样本,则得到的训练模型所预测的结果的可信度将受到质疑。 所以需要进行多次交叉验证,把样本空间中的所有样本均分成n份,使用不同的训练集训练模型,对不同的测试集进行测试时输出指标得分。 sklearn提供了交叉验证相关API: ... 阅读全文
摘要:
''' 分类模型数据集划分问题: 对于分类问题训练集和测试集的划分不应该用整个样本空间的特定百分比作为训练数据, 而应该在其每一个类别的样本中抽取特定百分比作为训练数据。sklearn模块提供了数据集划分相关方法, 可以方便的划分训练集与测试集数据,使用不同数据集训练或测试模型,达到提高分类可信度。 回归模型... 阅读全文
摘要:
为了应对大规模爬虫,可食用分布式爬虫技术,分布式爬虫技术中有一项技术必须解决:多态主机共同爬取大量url地址,如何剔除或者识别已爬取的url,为了解决这项技术问题,可以借助redis中列表数据类型,实现url的存储,然后通过一台主机负责爬取url,其他主机负责请求redis数据库中保存的url,具体 阅读全文
摘要:
一、redis概述 1、特点及优点 1、开源的,使用C编写,基于内存且支持持久化 2、高性能的Key-Value的NoSQL数据库 3、支持数据类型丰富,字符串strings,散列hashes,列表lists,集合sets,有序集合sorted sets 等 4、支持多种编程语言(C C++ Pyt 阅读全文
摘要:
''' 朴素贝叶斯分类:朴素贝叶斯分类是一种依据统计概率理论而实现的一种分类方式。 观察这组数据: 天气情况 穿衣风格 约女朋友 ==> 心情 0(晴天) 0(休闲) 0(约了) ==> 0(高兴) 0 1(风骚)... 阅读全文
摘要:
''' 逻辑分类:----底层为线性回归问题 通过输入的样本数据,基于多元线型回归模型求出线性预测方程。 y = w0+w1x1+w2x2 但通过线型回归方程返回的是连续值,不可以直接用于分类业务模型,所以急需一种方式使得把连续的预测值->离散的预测值。 [-oo, +oo]->{0, 1} 逻辑... 阅读全文