2018年12月19日
（一）爬虫之网页下载
摘要： 1，相关知识 robots.txt: 一些网站会定义robots.txt文件（https://www.example.com/robots.txt），规定了网页爬取的相关限制，查看其内容，遵守规则可以避免过早IP被封。 下面为知乎robots.txt部分内容（https://www.zhihu.co 阅读全文
posted @ 2018-12-19 19:27 silence_cho 阅读(1343) 评论(0) 推荐(0) 编辑