摘要:
#### 现状, 就是爬取数据的时候,单ip是不可能快速获得数据了, 现在常用的ip反爬,就是按照你访问的频率,如果识别到就封你的ip,更多的是封一段时间,比如一小时,比如几天,也有永久封禁, 但是现在大公司,屏蔽ip的成本变得很大,因为有的一个ip,不是一个人在用,而是一个公司,一个小区在用一个i 阅读全文
摘要:
第一种方法: 输入ipconfig 第二种方法 查看网络设置, 阅读全文
摘要:
# time模块 time模块是一个内置模块,非常的重要,非常的常用, ``` time模块的方法列表: altzone asctime ctime daylight get_clock_info gmtime localtime,返回的是结构化时间,struct_time,有一个参数,秒时间戳,如 阅读全文
摘要:
采集免费ip,制作自己的代理ip池 第一步,选择一个免费代理ip的网站,把他们网站的所有ip都爬取下来, http://www.66ip.cn/index.html https://seofangfa.com/proxy/ https://ip.jiangxianli.com/ http://www 阅读全文
摘要:
#### 首先是如何能避免封ip? 然后是封了ip怎么办? ### 如何避免封ip, 1,ua方面,尽量模拟浏览器的访问,比如useragent,尽量使用不同的ua,可以增加随机选择ua的功能,频繁切换UserAgent(模拟浏览器访问) 2,频率访问,降低采集频率,时间设置长一些,访问时间采用随机 阅读全文