01爬虫基本原理 02-01 请求库之requests库 02-02 爬虫请求库之selenium 03 解析库beautifulsoup 04 mongodb 05 爬虫高性能相关(了解,scrapy框架里面都包含了) 06 Scrapy框架 07 分布式爬虫 08 爬虫面试 Read More
posted @ 2019-12-03 20:42 www.pu Views(288) Comments(0) Diggs(0) Edit
selenium 最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题,3.0版本2016发布selenium 比requests功能强,但是需要驱动浏览器特别耗资源性能低,可以用它执行js操作,如登录拿到cookie,其他用request Read More
posted @ 2019-12-03 20:40 www.pu Views(667) Comments(0) Diggs(0) Edit
pandas链接 pandas是一个强大的Python数据分析的工具包, 它是基于Numpy构建的,正因pandas的出现, 让Python语言 也成为使用最广泛且强大的数据分析语言之一 包含两个数据结构DataFrame,Series,其中DataFrame使用广泛,但是它是由若干个Series组 Read More
posted @ 2019-12-03 18:38 www.pu Views(141) Comments(0) Diggs(0) Edit