摘要: python爬虫采集 最近有个项目需要采集一些网站网页,以前都是用php来做,但现在十分流行用python做采集,研究了一些做一下记录。 采集数据的根本是要获取一个网页的内容,再根据内容筛选出需要的数据, python的好处是速度快,支持多线程,高并发,可以用来大量采集数据,缺点就是和php相比,p 阅读全文
posted @ 2019-06-20 17:27 咫尺灵犀 阅读(2917) 评论(0) 推荐(0) 编辑
摘要: python3安装,支持openssl,支持采集https 坑好多,特别是安装的时候,各种不匹配,服务器默认配置是python2,升级3后,采集的时候用到openssl,花了两天也没搞定各种错误,也许是对linux了解不够,openssl与python总是匹配不上,哎,最终还是莫名其妙的成功了,还是 阅读全文
posted @ 2019-06-20 16:04 咫尺灵犀 阅读(5875) 评论(0) 推荐(0) 编辑