摘要：
网页下载器：将互联网上URL对应的网页下载到本地的工具 通过网页下载器将互联网中的url网页，存储到本地或内存字符串 python有哪几种网页下载器？ 1.urllib2 python官方基础模块 2.requests python第三方包更强大 urllib2下载网页方法1：最简洁方法 url > 阅读全文
摘要：
URL管理器：管理待抓取URL集合和已抓取URL集合 -- 防止重复抓取、防止循环抓取 URL需要支持哪些功能： 添加新URL到待爬取集合中、判断待添加URL是否在容器中，判断是否还有待爬取URL，获取待爬取URL，将URL从待爬取移动到已爬取。 URL管理器的实现方式： 1.内存 python内存 阅读全文
摘要：
第一节 python简单爬虫架构 1.爬虫调度端 2. 爬虫：URL管理器、网页下载器、网页解析器 3.价值数据 第二节 python简单爬虫架构的动态 阅读全文
摘要：
1.爬虫简介爬虫：一段自动抓取互联网信息的程序多个URL构成互联网，人工获取url，爬虫获取url，在网页上获取有价值的数据2.爬虫技术价值价值：互联网数据，为我所用！爬取数据，分析数据互联网上的数据能够更友好的被用户看到和使用。 阅读全文
摘要：
课程内容 地址：http://www.imooc.com/video/10674 1.爬虫简介 2.简单爬虫架构 3.URL管理器 4.网页下载器(rullib2) 5.网页解析器(BeautifulSoup) 6.完整实例 爬去百度百科Python词条相关的1000个页面数据 阅读全文
摘要：
所有文章均是CSDN博客所看，已按照作者要求，注明出处了，感谢作者的整理！博客文章地址：http://blog.csdn.net/michael_ouyang/article/details/54883903 阅读全文
摘要：
博客地址：http://blog.csdn.net/michael_ouyang/article/details/54883402 阅读全文
摘要：
所有文章均是CSDN博客所看，已按照作者要求，注明出处了，感谢作者的整理！ 博客文章地址：http://blog.csdn.net/michael_ouyang/article/details/54698062 阅读全文