02 2019 档案
摘要:如何保证可用ip不低于2000个,代理ip池优化策略 第一:获得大量ip; 第二:验证可用ip; 第三:监控可用ip; 第三:保证可用ip不低于3000或者5000; 截图是实时可用ip数量 心得:不要用什么 VPS虚拟主机拨号 或者 ADSL拨号代理,好好地优化ip池,会有足够的 ip 够我们使用
阅读全文
摘要:在爬虫过程中,经常给服务器造成压力(比如耗尽CPU,内存,带宽等),为了减少不必要的访问(比如爬虫),网页开发者就发明了反爬虫技术。 常见的反爬虫技术有封ip,user_agent,字体库,js加密,验证码(字符验证码,滑动验证码,点触式验证码等)。所谓魔高一尺道高一丈。有反爬虫,就有反反爬虫技术。
阅读全文
摘要:我的网络安全需要搜狗微信的验证码保护吗?真他妈的扯淡。 破解方法:不停更换snuid
阅读全文
摘要:MYSQL单表可以存储多少条数据??? 单表存储四千万条数据,说MySQL不行的自己打脸吧。 多说一句话,对于爬虫来说,任何数据库,仅仅是存储数据的地方,最关心的是 能否存储数据和存储多少数据以及存储数据的速度而已。 至于后期的处理需要查询,完全可以用ES或者其他的数据库。
阅读全文