2017年10月23日
网络爬虫简介
摘要： 以下是《用python写网络爬虫》的读书笔记： 一.背景调研 1.检查robots.txt文件，通过在所需要爬取数据的页面的网址后加上robots.txt就可以看到当前网站对于数据爬取有哪些限制 以下是一个典型的robots.txt文件，这个robots.txt文件是网站 http://exampl 阅读全文
posted @ 2017-10-23 18:38 whatyouknow123 阅读(1686) 评论(0) 推荐(0) 编辑