爬虫_小结04
摘要:
1、接触过几种爬虫模块 urllib requests 2、robots协议是什么? 网站有一些数据不想被爬虫程序爬取,可以编写robots协议文件,明确指明哪些内容可以爬取哪些不可以爬取。 在Scrapy框架中在settings.py文件中使用了硬性语法对该协议进行了生效 3、如何处理验证码? 使 阅读全文
posted @ 2019-05-09 22:10 ALLEN&Y 阅读(221) 评论(0) 推荐(0) 编辑