CentOS下Varnish实现动静分离

CentOS==6.5

安装依赖包：
tar -zxvf docutils-0.13.1.tar.gz
python setup.py install

unzip pcre2-10.23.zip 
./configure --prefix=/usr/local/pcre2
make
make install

export PKG_CONFIG_PATH="/usr/local/pcre2/lib/pkgconfig"
export -p     //查看输出

yum install pcre-devel -y
yum intall ncurses-devel -y
rpm -ivh libedit-devel-2.11-4.20080712cvs.1.el6.x86_64.rpm

创建用户、组及缓存和日志目录：
useradd varnish
mkdir /data/varnish/cache -p
mkdir /data/varnish/log -p
chown varnish.varnish -R /data/varnish/cache/
chown varnish.varnish -R /data/varnish/log/

安装varnish：
tar -zxvf varnish-4.1.5.tar.gz 
./configure --prefix=/usr/local/varnish --enable-dependency-tracking --enable-debugging-symbols --enable-developer-warnings
make
make install

拷贝配置文件：
[root@localhost varnish-4.1.5]# cp etc/example.vcl /usr/local/varnish/

启动varnish    //注意与80端口的冲突问题
[root@localhost varnish]# sbin/varnishd -f /usr/local/varnish/example.vcl -s malloc,1G -T 127.0.0.1:2000 -a 0.0.0.0:80

-a address[:port][ -a address[:port][...]    //监听指定的地址和端口的客户端请求。 
-b host[:port]    //使用指定的主机作为后端服务器。 如果没有指定端口，默认为8080。类似 -f 的VCL文件中backend命令可以指定反向入口地址与端口，但只能指定一个。是一个快捷启动方式。不能与 -f 同时存在
-d //启用调试模式：父进程运行在与标准输入/输出一个CLI连接的前景，和子进程必须明确使用CLI命令启动。 终止父进程也将终止子。
-f config    //使用指定的VCL配置文件代替内置的默认值。不能与 -b 同时存在，但必需指定一个，否则服务无法启动
-h type[,options]    //指定的哈希算法。 hash列表类型,以及长度.默认长度是16383.。
-l shl[,free[,fill]]    //指定shmlog文件的大小。 shl 是共享内存日志记录（默认80M），free 是空闲空间，fill 是已经使用空间。内存大小可以设置‘K’,'M' 等。
-n name    //临时文件实例名.如果以"/"开头,就必须是一个可用的路径. 其实就是工作目录
-P file    //写进程的PID到指定的文件。
-p param=value    //定参数指定为指定的值。用来优化性能
-s [name=]type[,options]
缓存设置，有三种方式：
malloc[,size]     （内存+swap交换模式）
file[,path[,size[,granularity]]]   （文件形式）
persistent,path,size    （文件形式）

Malloc (malloc) 通过 malloc 获取内存，简单，速度快
Mmap file (file) 创建文件缓存
这个是varnish缓存的两种方式，可以在启动的时候通过参数指定。

granularity用于设定缓存空间分配单位，默认单位是字节，所有其它的大小都会被圆整。
size 是指定空间大小，可以是G,M,K等。
path 是文件目录

-w int[,int[,int]]    //指定varnish的 工作线程数，常用的方式有：
                    -w min，max
                    -w min，max，timeout
                    如 -w5，51200，30
                注：不能将最小设定过大，否则运行的速度异常缓慢。

-T address[:port]    //管理器端口。CLI 入口地址与端口，使用 talnet 命令可以进入 CLI 界面管理服务器，也可以使用varnishadm
-t ttl        //指默认TTL值
-V/v    //显示版本号并退出/显示版本信息

停止varnish
pkill varnishd  （直接杀死进程，只能使用上面的命令启动varnish）
或者
varnishadm stop   (需要进入安装目录的bin目录下,只是关闭了子进程，可以使用varnishadm start 再次开启服务或者使用上面的启动命令)

一、Varnish简介
Varnish是一款高性能、开源的反向代理服务器和缓存服务器，其开发者Poul-Henning Kamp是FreeBSD核心的开发人员之一。
Varnish主要运行两个进程：Management进程和Child进程(也叫Cache进程)。
Management
进程主要实现应用新的配置、编译VCL、监控varnish、初始化varnish以及提供一个命令行接口等。Management进程会每隔几秒钟探测
一下Child进程以判断其是否正常运行，如果在指定的时长内未得到Child进程的回应，Management将会重启此Child进程。

1)、
varnish从客户端接收请求后，由vcl_recv状态引擎处理，不能识别的请求将会通过参数pipe交给vcl_pipe状态引擎，需要查找缓存的
请求通过lookup参数将会交给vcl_hash状态引擎，无需缓存的数据通过参数pass将会交给 vcl_pass状态引擎；
2)、

vcl_hash状态引擎在接收到请求后会从缓存中查找数据，查询结果有两种，一种是hit缓存命中，另一种是miss缓存未命中；
3)、

vcl_hit状态引擎将命中的缓存数据通过参数deliver交给vcl_deliver状态引擎，vcl_deliver状态引擎将数据处理后，最终返回给客户端；
4)、

vcl_miss状态引擎将未命中的结果参数fetch交给vcl_fetch状态引擎，vcl_fetch状态引擎将会从数据库中查找数据；
5)、

vcl_fetch状态引擎将从数据库中查询到的结果，返回给vcl_deliver状态引擎；
6)、

vcl_deliver状态引擎将结果返回给master进程，最终返回给客户端；

三、使用Varnish实现网站动静分离
实验环境，三台虚拟机
Linux：CentOS6.5
Varnish：varnish-3.0.4-1.el6.x86_64
Nginx：nginx-1.4.7
Varnish主机：两块网卡，外网IP 172.16.36.10，内网IP 192.168.0.10
Web服务器1：IP 192.168.0.20，用于作静态文件服务器
Web服务器2：IP 192.168.0.30，用于作动态程序服务器

前提说明：
varnish
的配置文件为vcl后缀，位于/etc/varnish/目录，缓存通常用于提升响应速度，一般而言，可以缓存html静态页面、图片、js脚本、css
样式表，因为动态脚本语言编写的页面需要使用脚本引擎处理，因此没有缓存的必要性；nginx本身就有缓存及反向代理功能，完全可以实现web服务的动静
分离，不过以缓存功能作对比，varnish的缓存显然比nginx更专业，所以要作缓存服务器，可以试试varnish，本次操作将以实验性的目的，使
用varnish实现web服务动静分离；

1、安装Varnish

rpm -ivh varnish-3.0.4-1.el6.x86_64.rpm varnish-docs-3.0.4-1.el6.x86_64.rpm varnish-libs-3.0.4-1.el6.x86_64.rpm

2、配置varnish
1)、编辑varnish脚本的配置文件/etc/sysconfig/varnish，将varnish监听的端口修改为80；

2)、新建文件/etc/varnish/web.vcl，编辑varnish缓存规则；
#定义后端服务器

backend web1 {
   .host="192.168.0.20";
   .port="80";
}
backend web2 {
   .host="192.168.0.30";
   .port="80";
}
#只允许本机使用purgers请求方法清除缓存
acl purgers {
   "127.0.0.1";
   "172.16.0.0"/16;
}
sub vcl_recv {
  if(req.request=="PURGE"){
      if(!client.ip~purgers) {
         error 405 "Mothod not allow";
      }
   }
#静态资源交给web1服务器
   if(req.url ~ "\.(html|htm|shtml|css|js|jpg|png|gif|jpeg)"){
      set req.backend=web1;
   }
#php页面交给web2服务器，并跳过缓存
   if(req.url ~ "\.php") {
      set req.backend=web2;
      return(pass);
   }
   return(lookup);
}
#将命中的缓存清除
sub vcl_hit {
  if (req.request == "PURGE") {
    purge;
    error 200 "Purged OK";
  }
}
#如果请求清除的资源不在缓存列表中，返回404状态
sub vcl_miss {
  if (req.request == "PURGE") {
    purge;
    error 404 "Not in cache";
  }
}
#如果请求清除的资源是一个不可缓存的资源，返回502状态
sub vcl_pass {
  if (req.request == "PURGE") {
    error 502 "Purged on a passed object.";
  }
}
#缓存对象存活时间
sub vcl_fetch {
   if(req.url ~ "\.(html|htm|shtml|css|js|jpg|png|gif|jpeg)"){
      set beresp.ttl=7200s;
   }
}
#将结果返回给客户端并在响应头部添加两字段，显示命中与否，并显示后端响应的web服务器
sub vcl_deliver {
   if(obj.hits > 0) {
      set resp.http.X-Cache="HIT from" + " " + server.ip;
   }else{
      set resp.http.X-Cache="MISS";
   }
   set resp.http.Backend-IP=req.backend;
}