摘要：
1、打开cloudfront 控制台，点击“创建分配” https://us-east-1.console.aws.amazon.com/cloudfront/v4/home?region=us-east-1#/distributions 在创建界面选择创建好的负载均衡 然后协议选择仅http 到证 阅读全文
摘要：
服务器上有时候需要安装ftp以便调试或给不懂使用服务器命令的同学更新文件 1、安装vsftpd yum update yum install vsftpd 2、编辑配置文件 确保以下配置的值和下面一致 anonymous_enable=NO local_enable=YES write_enable 阅读全文
摘要：
scrapy 是很强大的模块化爬虫框架，具有很高的灵活性，使用频率很高，使用该框架能大大提高开发效率，scrapy-redis是在scrapy框架开发了组件，替换队列部分，实现多台服务器并行运行爬虫，提高爬取速度。下面是用最简单的例子从建立普通scrapy爬虫,然后数据保存mysql ，最后简单替换 阅读全文
摘要：
selentium 要和chrome版本一致，找了很久119版本chrome的selentium，终于找到并测试通过可以使用,更新的版本也有 1、下载chrome for testing ,这个很适合用来做自动化测试和爬虫，因为不会自动升级 https://googlechromelabs.gith 阅读全文
摘要：
俞敏洪写过一篇文章：《一瓶黄河水》。某年，他去黄河旅行。因为心里装了不少工作上的烦心事，望着浑浊汹涌的黄河，他一时没了游玩的心情，竟想起了洪水和灾难。原本是出来散心的，现在变成了闹心。郁闷之中，他灌了一瓶子黄河水，坐在路边发起呆来。等他醒过神来，忽然发现瓶子里3/4变得非常清澈，剩下1/4是沉淀下来 阅读全文
摘要：
背景，win7的电脑，安装有vmware ，后面因为需要php5.6版本，而且需要安装一些php扩展，还是使用phpstudy比较方便，于是安装了phpstudy, 但是在phpstudy配置最简单的站点，都连静态html都无法访问见图 nginx日志也是空的 怀疑是哪个程序占用了80端口，于是打开 阅读全文
摘要：
直接使用yum install docker-compose 会返回nothing to do, 可以使用pip3来安装 安装 Docker Compose （1）执行如下命令安装 pip3： yum -y install python3-pip pip3 install --upgrade pip 阅读全文
摘要：
有时候我们需要查看某个程序的配置和运行目录 以nginx为例 1、看出进程ID - PID [root@www ~]# ps -C nginx PID TTY TIME CMD 1113 ? 00:00:00 nginx 1116 ? 00:00:03 nginx 1124 ? 00:00:03 n 阅读全文
摘要：
引言：网站资源（CPU,内存等）使用率在某个时段很高，甚至出现502状态，查日志（看请求头user-agent）发现爬虫在某个时段大量爬取，超出网站正常的负荷，如何在不影响搜索排名情况下合理降低搜索爬虫对网站的影响呢？ 方法1：在服务端限制 适用：对不知道，或恶意爬虫限流 在nginx或防火墙上针对 阅读全文
摘要：
问题： 有时候我们也上需要加载 其他域名的资源，但是目前服务器和浏览器的安全策略默认是不允许的（其实，如果我们自己知道加载的资源是安全的就可以想办法改掉这设置）， 问题截图如下图 方案 1、浏览器端安装允许跨域的插件 2、在服务器端配置允许跨域 以nginx服务器为例只需要在配置上增加两行代码即可 阅读全文