莱茵河的雨季 - 博客园

2018年12月23日

4-1 自动生成spider模板的命令

摘要： scrapy genspider 爬虫名爬取得网站url例：scrapy genspider jobble2 blog.jobbole.com 阅读全文

posted @ 2018-12-23 12:06 莱茵河的雨季阅读(259) 评论(0) 推荐(0) 编辑

4-2 setting中一定要将ROBOTSTXT_OBEY = False的注释去掉

摘要： # Obey robots.txt rules##默认遵循robots协议的，默认去读取每个网站上的robots协议ROBOTSTXT_OBEY = False 阅读全文

posted @ 2018-12-23 11:31 莱茵河的雨季阅读(990) 评论(0) 推荐(0) 编辑

3-7 彻底搞清楚unicode和utf8编码

摘要：阅读全文

posted @ 2018-12-23 10:43 莱茵河的雨季阅读(210) 评论(0) 推荐(0) 编辑

爬虫去重（只是讲了去重的策略，没有具体讲实现过程，反正就是云里雾里）

摘要：阅读全文

posted @ 2018-12-23 10:16 莱茵河的雨季阅读(92) 评论(0) 推荐(0) 编辑

2018年12月22日

jjdjflsjfksjfkjskljfdkjfkdsjfjdsjfjjjjjjjjjlsfsklfjdkjfkdsjfs

该文被密码保护。阅读全文

posted @ 2018-12-22 19:07 莱茵河的雨季阅读(0) 评论(0) 推荐(0) 编辑

LFK---爬虫模块流程

该文被密码保护。阅读全文

posted @ 2018-12-22 19:04 莱茵河的雨季阅读(1) 评论(0) 推荐(0) 编辑

深度优先和广度优先

摘要：深度优先（广度优先的是一层数为优先）：深度优先和广度优先的实现：深度是递归，广度是队列深度优先过程的代码实现：广度优先过程的代码实现：阅读全文

posted @ 2018-12-22 17:38 莱茵河的雨季阅读(147) 评论(0) 推荐(0) 编辑

爬虫能做什么

摘要：阅读全文

posted @ 2018-12-22 15:57 莱茵河的雨季阅读(121) 评论(0) 推荐(0) 编辑

2018年12月20日

Python工程编译成跨平台可执行文件(.pyc)

摘要：原文：https://blog.csdn.net/zylove2010/article/details/79593655 在某些场景下，若不方便将python编写的源码工程直接给到其他人员，则可以将python工程编译成跨平台可执行文件(.pyc)解决。具体操作如下： import py_comp 阅读全文

posted @ 2018-12-20 18:07 莱茵河的雨季阅读(1602) 评论(0) 推荐(0) 编辑

Python time strptime()方法

摘要：原文：http://www.runoob.com/python/att-time-strptime.htmlPython time strptime()方法描述 Python time strptime() 函数根据指定的格式把一个时间字符串解析为时间元组。语法 strptime()方法语法：阅读全文

posted @ 2018-12-20 16:08 莱茵河的雨季阅读(682) 评论(0) 推荐(0) 编辑