2017年7月12日
python爬虫主要就是五个模块：爬虫启动入口模块，URL管理器存放已经爬虫的URL和待爬虫URL列表，html下载器，html解析器，html输出器 同时可以掌握到urllib2的使用、bs4（BeautifulSoup）页面解析器、re正则表达式、urlparse、python基础知识回顾（set集合操作）等相关内容。
摘要： 本次python爬虫百步百科，里面详细分析了爬虫的步骤，对每一步代码都有详细的注释说明，可通过本案例掌握python爬虫的特点： 1、爬虫调度入口（crawler_main.py） 阅读全文
posted @ 2017-07-12 20:21 Java/Python 阅读(1319) 评论(0) 推荐(0) 编辑