网站负载均衡策略
比较流行的web服务器,主要有三种,lighttpd、apache、nginx
1.Lighttpd
Lighttpd是一个具有非常低的内存开销,cpu占用率低,效能好,以及丰富的模块等特点。lighttpd是众多OpenSource轻量级的web server中较为优秀的一个。支持FastCGI, CGI, Auth, 输出压缩(output compress), URL重写, Alias等重要功能。
Lighttpd使用fastcgi方式运行php,它会使用很少的PHP进程响应很大的并发量。
Fastcgi的优点在于:
从稳定性上看, fastcgi是以独立的进程池运行来cgi,单独一个进程死掉,系统可以很轻易的丢弃,然后重新分配新的进程来运行逻辑.
从安全性上看, fastcgi和宿主的server完全独立, fastcgi怎么down也不会把server搞垮,
从性能上看, fastcgi把动态逻辑的处理从server中分离出来, 大负荷的IO处理还是留给宿主server, 这样宿主server可以一心一意作IO,对于一个普通的动态网页来说, 逻辑处理可能只有一小部分, 大量的图片等静态IO处理完全不需要逻辑程序的参与(注1)
从扩展性上讲, fastcgi是一个中立的技术标准, 完全可以支持任何语言写的处理程序(php,java,python...)
2.Apache
apache是世界排名第一的web服务器, 根据netcraft(www.netsraft.co.uk)所作的调查,世界上百分之五十以上的web服务器在使用apache.
1995年4月, 最早的apache(0.6.2版)由apache group公布发行. apache group 是一个完全通过internet进行运作的非盈利机构, 由它来决定apache web服务器的标准发行版中应该包含哪些内容. 准许任何人修改隐错, 提供新的特征和将它移植到新的平台上, 以及其它的工作. 当新的代码被提交给apache group时, 该团体审核它的具体内容, 进行测试, 如果认为满意, 该代码就会被集成到apache的主要发行版中.
apache 的特性:
1) 几乎可以运行在所有的计算机平台上.
2) 支持最新的http/1.1协议
3) 简单而且强有力的基于文件的配置(httpd.conf).
4) 支持通用网关接口(cgi)
5) 支持虚拟主机.
6) 支持http认证.
7) 集成perl.
8) 集成的代理服务器
9) 可以通过web浏览器监视服务器的状态, 可以自定义日志.
10) 支持服务器端包含命令(ssi).
11) 支持安全socket层(ssl).
12) 具有用户会话过程的跟踪能力.
13) 支持fastcgi
14) 支持java servlets
3.nginx
关注点:事件驱动、反向代理、负载均衡、不支持CGI方式运行,需采用FastCGI方式运行、模块化结构、nginx专为性能优化而开发、静态文件,索引文件处理速度快。热部署、稳定性。
事件驱动:
反向代理
说其反向代理,就必须提到正向代理,正向代理是一个位于客户端和原始服务器之间的服务器,为了获取原始服务器里面的内容,客户端必须向代理发送一个请求并指定目标,代理服务器获取用户的请求内容并返回给客户端。客户端必须进行一些特别的设置才能使用正向代理。反向代理,用户访问www.yhp.com/a.htm,但是www.yhp.com并不存在a.htm,此时需要在www.yhp.com上设置反向代理,去访问a.htm,对用户来说,他并不知道,也不需要做任何的设置。
负载均衡
多台服务器的时候使用负载均衡。如下配置:
Upstream test.com{
Ip_hash;
Server 192.168.1.1:80;
Server 192.168.1.2:80 down;
Server 192.168.1.3:8001 max_fails=3 fail_timeout=20s;
}
Server{
Location /{
Proxy_pass http://test.com
}
}
server {
listen 80;
server_name test.com;
charset utf-8;
#access_log logs/host.access.log main;
location / {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://basis.test.com;
}
}
Upstream是nginx的http upstream模块,这个模块通过一个简单的调度算法实现客户端IP到服务端的负载均衡。上面的test.com是负载均衡器的名称。
Upstream支持的负载均衡算法:
- 轮询(默认),按时间逐一分配到后台服务器,如果后台服务器宕机,会被自动剔除,用户不受影响。可以设置weight权重,weight越大,访问到的几率越高。
- Ip_hash,按请求访问的ip的hash结果分配,这样来自同一个ip的访问固定访问到后面的一台服务器上,有效解决了动态网页存在的session共享问题。
- Fair,比较只能的负载均衡算法,有点是可以依据页面大小和加载时间长短只能的进行负载均衡,也就是根据后台的反映时间来分配请求,响应时间短的优先分配。Nginx本身不支持此算法,需要现在nginx的upstream_fair模块支持。
- url_hash,此算法根据用户访问的url来确定后台访问的服务器,是每个url定向的访问一个后端服务器。可以进一步提高后端缓存服务器的效率。Nginx本书并不支持,需要安装hash包。
- sticky。基于cookie的一种算法。每台电脑都会产生不同的cookie。保持长连接的同时还保持了服务器的压力均衡。Nginx sticky是一个不错的解决session的问题。但是nginx本身也不支持sticky。需要安装sticky模块。
- sticky优于ip_hash的地方,如果前端是CDN,或者说一个局域网的客户同时访问服务器,导致出现服务器分配不均衡,以及不能保证每次访问都粘滞在同一台服务器。如果基于cookie会是一种什么情形,想想看, 每台电脑都会有不同的cookie,在保持长连接的同时还保证了服务器的压力均衡,nginx sticky值得推荐。
CGI,FastCGJ.
FastCGI 像是一个常驻 (long-live) 型的 CGI,它可以一直执行着,只要激活后,不会每次都要花费时间去 fork 一次 (这是 CGI 最为人诟病的 fork-and-execute 模式)。
CGI公共网关接口CGI(Common Gateway Interface) 是WWW技术中最重要的技术之一,有着不可替代的重要地位。CGI是外部应用程序(CGI程序)与Web服务器之间的接口标准.
静态文件的处理
Nginx对静态文件的处理功能比较强大。
Tengine 是由淘宝核心系统部基于Nginx开发的Web服务器,它在Nginx的基础上,针对大访问量网站的需求,添加了很多功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网,淘宝商城等得到了很好的验证。它的最终目标是打造一个高效、稳定、安全、易用的 Web 平台。
合并请求css和js的配置方法:
首先在页面上的代码如下:
<script src="${staticDomain}/js??plugin/jquery/jquery-1.9.1.min.js,plugin/jquery/jquery-ui-1.10.3.custom.min.js,plugin/scrollbar/jquery.mousewheel.js,plugin/scrollbar/perfect-scrollbar.js,YS.js,common.js?v=${deploy_version!}"></script>
在tengin的nginx.conf中的配置文件只需要添加
concat on即可。
如:
server {
listen 80;
server_name static.test.com;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
concat on;
concat_max_files 20;
root /home/deploy/src/static;
index index.html index.htm;
expires 1y;
}
location ~ .*sprite\.png {
root /home/deploy/src/static;
index index.html index.htm;
expires modified +24h;
}
}
三大服务对比(来源网络)
server |
Apache |
Nginx |
Lighttpd |
Proxy代理 |
非常好 |
非常好 |
一般 |
Rewriter |
好 |
非常好 |
一般 |
Fcgi |
不好 |
好 |
非常好 |
热部署 |
不支持 |
支持 |
不支持 |
系统压力比较 |
很大 |
很小 |
比较小 |
稳定性 |
好 |
非常好 |
不好 |
安全性 |
好 |
一般 |
一般 |
技术支持 |
非常好 |
很少 |
一般 |
静态文件处理 |
一般 |
非常好 |
好 |
Vhosts虚拟主机 |
支持 |
不支持 |
支持 |
反向代理 |
一般 |
非常好 |
一般 |
Session sticky |
支持 |
不支持 |
不支持 |
注:在相对比较大的网站,节约下来的服务器成本无疑是客观的。而有些小型网站往往服务器不多,如果采用 Apache 这类传统 Web 服务器,似乎也还能撑过去。但有其很明显的弊端: Apache 在处理流量爆发的时候(比如爬虫或者是 Digg 效应) 很容易过载,这样的情况下采用 Nginx 最为合适。
建议方案:
Apache 后台服务器(主要处理php及一些功能请求 如:中文url)
Nginx 前端服务器(利用它占用系统资源少得优势来处理静态页面大量请求)
Lighttpd 图片服务器
总体来说,随着nginx功能得完善将使他成为今后web server得主流。