摘要：采集免费ip,制作自己的代理ip池 第一步，选择一个免费代理ip的网站，把他们网站的所有ip都爬取下来， http://www.66ip.cn/index.html https://seofangfa.com/proxy/ https://ip.jiangxianli.com/ http://www 阅读全文

摘要：#### 首先是如何能避免封ip？ 然后是封了ip怎么办？ ### 如何避免封ip， 1，ua方面，尽量模拟浏览器的访问，比如useragent，尽量使用不同的ua，可以增加随机选择ua的功能，频繁切换UserAgent（模拟浏览器访问） 2，频率访问，降低采集频率，时间设置长一些，访问时间采用随机 阅读全文

摘要：####大规模抓取的抓取效率和抓取技巧问题 这个话题，只在大规模的时候有用，抓取几十个网页，其实差别不大，不需要这个问题， ### 第一个问题， 输入url，到返回数据发生了什么 这个你面试可以说是一个经典的面试题， 对这个问题越了解，你越能优化大规模的抓取，考验的是你的综合能力， ### 客户端发 阅读全文

摘要：### 1，Charles抓包工具的原理 原理都是在客户端和服务器之间充当代理服务器 正常的情况：客户端 服务器 增加了Charles的情况：客户端 Charles 服务器 Charles有两个功能， 1，接收客户端的请求，并且转发给服务器， 2，服务端返回结果给Charles，然后Charles转 阅读全文

摘要：### 一，tcp/ip协议 tcp和udp：tcp像打电话，这是互动的，这是tcp的应答机制，全双工，udp像发短信，没有回复，是半双工，所以tcp复杂但是安全稳定 端口：指TCP/IP协议中的端口，端口号的范围从0到65535，比如浏览器网页服务的80端口，ftp的21端口，ssh的22端口，m 阅读全文