2019年4月13日
进程与线程（二）——线程
摘要： 一 线程的两种调用方式 threading 模块建立在thread 模块之上。thread模块以低级、原始的方式来处理和控制线程，而threading 模块通过对thread进行二次封装，提供了更方便的api来处理线程。 直接调用： 继承式调用： 二 threading.thread的实例方法 jo 阅读全文
posted @ 2019-04-13 17:13 飘在天上的云 阅读(185) 评论(0) 推荐(0) 编辑
pycharm激活码
摘要： MTW881U3Z5-eyJsaWNlbnNlSWQiOiJNVFc4ODFVM1o1IiwibGljZW5zZWVOYW1lIjoiTnNzIEltIiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGl 阅读全文
posted @ 2019-04-13 16:11 飘在天上的云 阅读(135) 评论(0) 推荐(0) 编辑
进程与线程（一）
摘要： 操作系统： http://www.cnblogs.com/yuanchenqi/articles/6248025.html 进程 线程 进程与线程区别 阅读全文
posted @ 2019-04-13 15:03 飘在天上的云 阅读(110) 评论(0) 推荐(0) 编辑
2018年12月30日
Scrapy框架CrawlSpider类爬虫实例
摘要： CrawlSpider类爬虫中： rules用于定义提取URl地址规则，元祖数据有顺序 #LinkExtractor 连接提取器，提取url地址 #callback 提取出来的url地址的response会交给callback处理 #follow 当前url地址的响应是否重新经过rules进行提取u 阅读全文
posted @ 2018-12-30 16:44 飘在天上的云 阅读(354) 评论(0) 推荐(0) 编辑
2018年11月26日
爬虫数据去重
摘要： 使用数据库建立关键字段（一个或者多个）建立索引进行去重 根据url地址进行去重 使用场景：url地址对应的数据不会变的情况，url地址能够唯一判别一条数据的情况 思路： url存在Redis中 拿到url地址，判断url在Redis的集合中是否存在 存在：说明url地址已经被请求过了，不在请求 不存 阅读全文
posted @ 2018-11-26 22:56 飘在天上的云 阅读(1063) 评论(0) 推荐(0) 编辑
mongodb、mysql、redis的区别和是用场景
摘要： mysql是关系型数据库，支持事物 MongoDB、Redis是非关系型数据库，不支持事物 mongodb、mysql、redis的使用根据如何方便进行选择 希望速度快的时候，选择MongoDB或者是Redis 数据量过大的时候，选择频繁使用的数据存入Redis，其他的存入MongoDB Mongo 阅读全文
posted @ 2018-11-26 22:15 飘在天上的云 阅读(1738) 评论(0) 推荐(0) 编辑
pymongo操作之增删改查
摘要： 模块导入 实例化client，建立连接 插入一条数据 插入一条数据，修改默认的_id数值。 插入一条数据，使用ret接收，打印出来是_id的值 插入多条数据insert_many()， 查询一条记录find_one() 查询多条记录find()，输出的是游标。 更新一条数据update_one() 阅读全文
posted @ 2018-11-26 11:33 飘在天上的云 阅读(235) 评论(0) 推荐(0) 编辑
2018年11月25日
MongoDB创建索引
摘要： 创建索引： db.集合.ensureIndex({属性：1}) #1表示升序，-1表示降序 具体操作： db.test.ensureIndex({name:1}) MongoDB在默认情况下索引字段的值可以相同 创建唯一索引（索引的值是唯一的） db.test.ensureIndex({name:1 阅读全文
posted @ 2018-11-25 22:37 飘在天上的云 阅读(2760) 评论(0) 推荐(0) 编辑
2018年11月24日
mongodb基本指令与高级查询指令以及聚合命令
摘要： 一、MongoDB中关于database的基本指令 二、MongoDB中关于集合的创建及基本增删改查指令 1、集合创建(集合相当于mysql里的表) 2.集合中的数据类型 1、Object ID :文档ID 2、String：字符串，最常用，必须是有效的UTF-8 3、Boolean：存储一个布尔值 阅读全文
posted @ 2018-11-24 22:41 飘在天上的云 阅读(487) 评论(0) 推荐(0) 编辑
2018年11月23日
数据挖掘流程
摘要： 以京东购买预测为例，讲述数据挖局一般流程： 数据挖掘流程： （一）、数据清洗 1、数据集完整性验证 2、数据集中是否存在缺失值 3、数据集中各特征数值应该如何处理 4、哪些数据使我们想要的，哪些是可以过滤掉的 5、将有价值数据信息做成新的数据源 6.去除无行为交互的商品和用户 7、去掉浏览量很大而购 阅读全文
posted @ 2018-11-23 22:46 飘在天上的云 阅读(231) 评论(0) 推荐(0) 编辑