python爬虫
用到的python数据结构:list(队列)和dict(词典)。详细请阅读“利用python进行数据分析”。
要利用到的python爬虫包:requests负责连接网站,处理http协议。bs4负责将网页变成结构化数据,方便爬取。偶尔会遇到用bs4也很难爬取的内容,这时就需要学学re(正则表达式)。这些包可以爬取静态网页了。
如果还想爬取js动态加载的网页,可以学习selenium或者ghost这两个包来控制浏览器,或者借助chrome开发者工具来查看网页加载时的交互。
为了存储爬下来的数据,你需要恶补python数据库连接知识。
爬到的数据需要展示,就需要接触django,flask等web开发框架。
多线程爬虫可以提高爬取效率,代理IP池与网站斗智斗勇。scrapy,pyspider框架部署。