摘要:
requests模块,仿造浏览器发送Http请求bs4主要对html或xml格式字符串解析成对象,使用find/find_all查找 text/attrs 爬取汽车之家 爬取汽车之家的资讯信息,它没有做什么防爬策略,直接request爬取就可以了 但是需要注意的是response返回的gbk编码,需 阅读全文
摘要:
scrapy安装和简单使用 scrapy是一个大而全的爬虫组件,依赖twisted,内部基于事件循环的机制实现爬虫的并发 下载安装: 组件以及执行流程? - 引擎找到要执行的爬虫,并执行爬虫的 start_requests 方法,并的到一个 迭代器。 - 迭代器循环时会获取Request对象,而re 阅读全文