用 Python 编写网络爬虫 笔记
Chapter I 简介
为什么要写爬虫？
- 每个网站都应该提供 API，然而这是不可能的
- 即使提供了 API，往往也会限速，不如自己找接口
注意已知条件（robots.txt 和 sitemap.xml）
- robots.txt 中可能会有陷阱
- sitemap 中可能提供了重要的链接
估算网站的大小
一个简便方法是使用 site:example.com 查询，然而这种方法对于大战不适用
识别网站所使用的技术
-
builtwith 模块
pip install builtwith
builtwith.parse(url) # returns a dict -
python-whois 模块
pip install python-whois
import whois
whois.whois(url)
下载器
下载器需要提供的几个功能：
- 错误重试，仅当返回的错误为500的时候重试，一般400错误可认为不可恢复的网页
- 伪装 UA
- 策略
a. 爬取站点地图 sitemap
b. 通过 ID 遍历爬取
i. ID 可能不是连续的，比如某条记录被删除了
ii. ID 访问失效 n 次以后可以认为遍历完全了 - 相对连接转化，这点可以利用 lxml 的 make_link_absolute 函数
- 处理 robots.txt 可以利用标准库的 robotsparser 模块
import robotsparser
rp = robotparser.RobotFileParser
rp.set_url('path_to_robots.txt')
rp.read()
rp.can_fetch("UA", "url")
True or False - 支持代理
- 下载限速，粒度应该精确到每一个站点比较好
- 避免爬虫陷阱，尤其是最后一页自身引用自身的例子
a. 记录链接深度
例子：https://bitbucket.org/wswp/code/src/chpter01/link_crawler3.py
Chapter II 数据抓取
抽取资源的方式
- 正则
不适用于匹配网页结构，因为网页结构中空白等都是无关紧要的，而可能破坏正则 Structural-based
适用于数据本身符合某种模式，比如 IP 地址，比如日期等 Content-based - xpath 与 CSS
适用于匹配网页的结构信息 Strctual-based，lxml 的 CSS 选择器在内部是转换为 xpath 实现的，css 远不如 xpath 灵活 - BeautifulSoup， 慢，从来没有在生产代码中见到过
下载的第二步，就是把获得的网页传递给 Extractor 来提取内容，可以通过传递给下载函数回调来处理，但是这种耦合性太强了
Chapter III 下载缓存
书中的缓存把所有相应都做了缓存，包括500的错误响应，实际上这样的直接不缓存好了。。
书中的磁盘缓存把 url normalize 逻辑也加到了这里，感觉比较混乱
注意使用磁盘文件缓存的话会受限于磁盘单目录文件的数量，即使是 ext4 文件系统也不大
Chapter IV 并发下载
执行下载时间估算也是很重要的，每个链接下载需要多长时间，整个过程需要多长时间
多线程的下载例子，手工模拟线程池
def process_queue(q):
pass
threads = []
while thread or crawl_queue:
for thread in threads:
if not threads.is_alive(): threads.remove(thread)
while len(threads) < max_threads and crawl_queue:
thread = threading.Thread(target=process_queue, daemon=True)
thread.start()
threads.append(thread)
time.sleep(some_time)
性能的增长与线程和进程的数量并不是成线性比例的，而是对数比例，因为切换要花费一定的时间，再者最终是受限于带宽的
Chapter V 动态内容
逆向接口
依赖于 Ajax 的网站看起来更复杂，但是实际上因为数据和表现层的分离会更简单，但是如果逆向工程也不好得到通用的方法，如何构建一个辅助工具呢？
表示出网页上哪些地方是动态加载的，列出 js 全局变量，列出可能的 jsonp 请求
利用 Ajax 接口时，可以利用各种边界情况，比如把搜索条件置为空，置为 *，置为 .
渲染动态网页
使用Qt
使用 Selenium 或者 PhantomJS，这时附加 Cookie 等都是很严重的问题
Chapter VI 表单交互
登录表单中往往会有隐藏的参数，比如 form_key 用于避免表单重复提交，还可能需要 cookie 验证
Wow，竟然可以直接从浏览器加载 Cookie，使用 browsercookie 模块
Chapter VII 验证码处理
使用机器识别验证码
使用 Pillow 和 pytesseract 识别验证码，但是 tessact 本不是用来识别验证码的
一种锐化方法
img.convert('L')
img.point(lambda x: 0 if x < 1 else 255, 'l')
tessact.image_to_string(img)
还可以通过限定字符集提高识别率
还可以使用人工打码平台
