2017年8月29日
爬虫背景调研----用python编写网络爬虫(一)
摘要： 前言 在爬取一个网站内容之前，我么最好一下准备，这样会让我们更好的去思考要采取如何的一种方式来对网站的内容进行爬取。 正文 检查robots.txt 里面详细介绍该网站的哪些数据是可以爬取的，哪些是不可以爬取的。同时检查robots.txt可以最小化怕从被禁封的可能。关于robots.tx协议的更多 阅读全文
posted @ 2017-08-29 16:12 康小泡 阅读(2090) 评论(0) 推荐(0) 编辑