02 2019 档案

摘要:如何保证可用ip不低于2000个,代理ip池优化策略 第一:获得大量ip; 第二:验证可用ip; 第三:监控可用ip; 第三:保证可用ip不低于3000或者5000; 截图是实时可用ip数量 心得:不要用什么 VPS虚拟主机拨号 或者 ADSL拨号代理,好好地优化ip池,会有足够的 ip 够我们使用 阅读全文
posted @ 2019-02-27 13:43 淋哥 阅读(689) 评论(2) 推荐(0) 编辑
摘要:在爬虫过程中,经常给服务器造成压力(比如耗尽CPU,内存,带宽等),为了减少不必要的访问(比如爬虫),网页开发者就发明了反爬虫技术。 常见的反爬虫技术有封ip,user_agent,字体库,js加密,验证码(字符验证码,滑动验证码,点触式验证码等)。所谓魔高一尺道高一丈。有反爬虫,就有反反爬虫技术。 阅读全文
posted @ 2019-02-21 14:51 淋哥 阅读(7949) 评论(3) 推荐(6) 编辑
摘要:我的网络安全需要搜狗微信的验证码保护吗?真他妈的扯淡。 破解方法:不停更换snuid 阅读全文
posted @ 2019-02-14 14:00 淋哥 阅读(2644) 评论(0) 推荐(0) 编辑
摘要:MYSQL单表可以存储多少条数据??? 单表存储四千万条数据,说MySQL不行的自己打脸吧。 多说一句话,对于爬虫来说,任何数据库,仅仅是存储数据的地方,最关心的是 能否存储数据和存储多少数据以及存储数据的速度而已。 至于后期的处理需要查询,完全可以用ES或者其他的数据库。 阅读全文
posted @ 2019-02-14 09:49 淋哥 阅读(23772) 评论(0) 推荐(2) 编辑

点击右上角即可分享
微信分享提示