2016年1月6日
Python 写网络爬虫思路分析
摘要： 首先从程序入口开始分析，在程序入口处传入一个待爬取的网址，使用下载器Html_downloader类下载该地址的内容，使用解释器 parser分析内容,利用BeautifulSoup包抓取想要爬取的内容和地址， 把地址增加到Url_Manager管理器中，同时把抓取的内容收集起 来。... 阅读全文
posted @ 2016-01-06 10:13 vspiders 阅读(245) 评论(0) 推荐(0) 编辑