摘要: #### centos7中安装python3 还是先安装依赖吧 yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel 阅读全文
posted @ 2021-09-22 21:16 技术改变命运Andy 阅读(749) 评论(0) 推荐(0) 编辑
摘要: 一、简介 系统管理员经常需要SSH 或者telent 远程登录到Linux 服务器,经常运行一些需要很长时间才能完成的任务,比如系统备份、ftp 传输等等。 通常情况下我们都是为每一个这样的任务开一个远程终端窗口,因为它们执行的时间太长了。必须等待它们执行完毕,在此期间不能关掉窗口或者断开连接,否则 阅读全文
posted @ 2021-09-22 17:02 技术改变命运Andy 阅读(1091) 评论(0) 推荐(0) 编辑
摘要: #### 现状, 就是爬取数据的时候,单ip是不可能快速获得数据了, 现在常用的ip反爬,就是按照你访问的频率,如果识别到就封你的ip,更多的是封一段时间,比如一小时,比如几天,也有永久封禁, 但是现在大公司,屏蔽ip的成本变得很大,因为有的一个ip,不是一个人在用,而是一个公司,一个小区在用一个i 阅读全文
posted @ 2021-09-22 17:02 技术改变命运Andy 阅读(628) 评论(0) 推荐(0) 编辑
摘要: 第一种方法: 输入ipconfig 第二种方法 查看网络设置, 阅读全文
posted @ 2021-09-22 13:49 技术改变命运Andy 阅读(1702) 评论(0) 推荐(0) 编辑
摘要: # time模块 time模块是一个内置模块,非常的重要,非常的常用, ``` time模块的方法列表: altzone asctime ctime daylight get_clock_info gmtime localtime,返回的是结构化时间,struct_time,有一个参数,秒时间戳,如 阅读全文
posted @ 2021-09-22 10:46 技术改变命运Andy 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 采集免费ip,制作自己的代理ip池 第一步,选择一个免费代理ip的网站,把他们网站的所有ip都爬取下来, http://www.66ip.cn/index.html https://seofangfa.com/proxy/ https://ip.jiangxianli.com/ http://www 阅读全文
posted @ 2021-09-22 07:39 技术改变命运Andy 阅读(1605) 评论(0) 推荐(0) 编辑
摘要: #### 首先是如何能避免封ip? 然后是封了ip怎么办? ### 如何避免封ip, 1,ua方面,尽量模拟浏览器的访问,比如useragent,尽量使用不同的ua,可以增加随机选择ua的功能,频繁切换UserAgent(模拟浏览器访问) 2,频率访问,降低采集频率,时间设置长一些,访问时间采用随机 阅读全文
posted @ 2021-09-22 07:00 技术改变命运Andy 阅读(252) 评论(0) 推荐(0) 编辑