随笔分类 -  爬虫与数据分析

十个Python爬虫武器库示例，十个爬虫框架，十种实现爬虫的方法！
摘要：一般比价小型的爬虫需求，我是直接使用requests库 + bs4就解决了，再麻烦点就使用selenium解决js的异步 加载问题。相对比较大型的需求才使用框架，主要是便于管理以及扩展等。 1.Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘 阅读全文
posted @ 2019-05-21 10:19 tooltime 阅读(3139) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示