摘要: 第一次写一个算是比较完整的爬虫,自我感觉极差啊,代码low,效率差,也没有保存到本地文件或者数据库,强行使用了一波多线程导致数据顺序发生了变化。。。 贴在这里,引以为戒吧。 没有考虑实际生产中突发的状况,比如网速延迟卡顿等问题。 速度是真慢,有时间会分享给大家 selenium + 浏览器 的爬取巨 阅读全文
posted @ 2018-07-18 23:46 正态分个布 阅读(3742) 评论(0) 推荐(0) 编辑
摘要: 偶然发现一个比自己手动切换user_agent更好的方法:传送门————修改于2019_08_30。 分享几个常见的User-Agent吧,复制粘贴过来的,谢谢原创。 时间是挤出来的。。 阅读全文
posted @ 2018-07-18 21:41 正态分个布 阅读(165550) 评论(1) 推荐(7) 编辑