摘要: 突然发现自己被耽误了好多,万恶的社会生活。 阅读全文
posted @ 2017-08-30 10:24 李·狗嗨 阅读(387) 评论(0) 推荐(0) 编辑
摘要: Scrapy框架下将爬取数据的item对象放入pipelin中再连接MySQL存入数据库的过程~ 阅读全文
posted @ 2017-08-21 12:58 李·狗嗨 阅读(292) 评论(0) 推荐(0) 编辑
摘要: 想装phpmayadmin,发现得先装Apache,费了老大劲才终于装上了 阅读全文
posted @ 2017-08-20 21:41 李·狗嗨 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 由于该网站为旧版网站,应该已没有人维护,所以不用绕过反爬机制,大概能达到 30万条数据/小时 的速度~ 阅读全文
posted @ 2017-08-20 15:10 李·狗嗨 阅读(300) 评论(0) 推荐(0) 编辑
摘要: Scrapy抓取数据输出到CSV文件,使其按照items.py中定义的字段的顺序排列输出。 阅读全文
posted @ 2017-08-19 23:20 李·狗嗨 阅读(931) 评论(0) 推荐(0) 编辑
摘要: 使用http.cookiejar带cookie信息登录爬取下载信息方法,需要使用network抓包获取动态加载信息 阅读全文
posted @ 2017-08-18 21:46 李·狗嗨 阅读(1662) 评论(0) 推荐(0) 编辑
摘要: 根据爬取的豆瓣《杀破狼》影评制作简单词云,还有许多地方仍可改进,增强视图效果~ 加油吧 阅读全文
posted @ 2017-08-18 10:30 李·狗嗨 阅读(271) 评论(0) 推荐(0) 编辑
摘要: socket加threading模块即可用Python制作一个简单聊天室,可以让你抱着DOS玩一下午~ 阅读全文
posted @ 2017-08-18 10:16 李·狗嗨 阅读(388) 评论(1) 推荐(0) 编辑
摘要: 单线程运行速度相对较慢时,我们可以使用threading模块将其变为多线程并发以节约时间~ 阅读全文
posted @ 2017-08-17 14:35 李·狗嗨 阅读(214) 评论(0) 推荐(0) 编辑
摘要: Scrapy采集数据时为每个请求随机分配user-agent,故记录下常用的User-Agent-List ~ 阅读全文
posted @ 2017-08-17 13:55 李·狗嗨 阅读(302) 评论(0) 推荐(0) 编辑