高性能Web服务之lnmp架构应用
传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等。这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降。
在设计的最初阶段,nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制,nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构,并大量采用了多路复用及事件通知机制。在nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理,而每个worker可以并行处理数千个的并发连接及请求。
如果负载以CPU密集型应用为主,如SSL或压缩应用,则worker数应与CPU数相同;如果负载以IO密集型为主,如响应大量内容给客户端,则worker数应该为CPU个数的1.5或2倍。
Nginx会按需同时运行多个进程:一个主进程(master)和几个工作进程(worker),配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程,并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行,而worker、cache loader和cache manager均应以非特权用户身份运行。
主进程主要完成如下工作:
1. 读取并验正配置信息;
2. 创建、绑定及关闭套接字;
3. 启动、终止及维护worker进程的个数;
4. 无须中止服务而重新配置工作特性;
5. 控制非中断式程序升级,启用新的二进制程序并在需要时回滚至老版本;
6. 重新打开日志文件,实现日志滚动;
7. 编译嵌入式perl脚本;
worker进程主要完成的任务包括:
1. 接收、传入并处理来自客户端的连接;
2. 提供反向代理及过滤功能;
3. nginx任何能完成的其它任务;
cache loader进程主要完成的任务包括:
1. 检查缓存存储中的缓存对象;
2. 使用缓存元数据建立内存数据库;
cache manager进程的主要任务:
1. 缓存的失效及过期检验;
Nginx的配置有着几个不同的上下文:main、http、server、upstream和location(还有实现邮件服务反向代理的mail)。配置语法的格式和定义方式遵循所谓的C风格,因此支持嵌套,还有着逻辑清晰并易于创建、阅读和维护等优势。
Nginx的代码是由一个核心和一系列的模块组成, 核心主要用于提供Web Server的基本功能,以及Web和Mail反向代理的功能;还用于启用网络协议,创建必要的运行时环境以及确保不同的模块之间平滑地进行交互。不过,大多跟协议相关的功能和某应用特有的功能都是由nginx的模块实现的。这些功能模块大致可以分为事件模块、阶段性处理器、输出过滤器、变量处理器、协议、upstream和负载均衡几个类别,这些共同组成了nginx的http功能。事件模块主要用于提供OS独立的(不同操作系统的事件机制有所不同)事件通知机制如kqueue或epoll等。协议模块则负责实现nginx通过http、tls/ssl、smtp、pop3以及imap与对应的客户端建立会话。
在nginx内部,进程间的通信是通过模块的pipeline或chain实现的;换句话说,每一个功能或操作都由一个模块来实现。例如,压缩、通过FastCGI或uwsgi协议与upstream服务器通信,以及与memcached建立会话等。
一、安装Nginx:
1、解决依赖关系
编译安装nginx需要事先需要安装开发包组"Development Tools"和 "Server Platform Libraries"。同时,还需要专门安装pcre-devel包:
1
2
|
# yum -y groupinstall "Development Tools" "Server Platform Libraries" # yum -y install pcre-devel openssl-devel |
2、安装
首先添加用户nginx,实现以之运行nginx服务进程:
1
2
|
# groupadd -r nginx # useradd -r -g nginx nginx |
接着开始编译和安装nginx:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
# tar xf nginx-1.11.3.tar.gz # cd nginx-1.11.3 # ./configure --prefix=/usr/local/nginx \ > --sbin-path= /usr/local/nginx/sbin/nginx \ > --conf-path= /etc/nginx/nginx .conf \ > --error-log-path= /var/log/nginx/error .log \ > --http-log-path= /var/log/nginx/access .log \ > --pid-path= /var/run/nginx/nginx .pid \ > --lock-path= /var/lock/nginx .lock \ > --user=nginx \ > --group=nginx \ > --with-http_ssl_module \ > --with-http_stub_status_module \ > --with-http_gzip_static_module \ > --with-http_flv_module \ > --with-http_mp4_module \ > --http-client-body-temp-path= /var/tmp/nginx/client/ \ > --http-proxy-temp-path= /var/tmp/nginx/proxy/ \ > --http-fastcgi-temp-path= /var/tmp/nginx/fcgi/ \ > --http-uwsgi-temp-path= /var/tmp/nginx/uwsgi/ \ > --http-scgi-temp-path= /var/tmp/nginx/scgi/ \ > --with-pcre # make && make install |
3、为nginx提供SysV init脚本:
新建文件/etc/rc.d/init.d/nginx,内容如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
|
# vim /etc/rc.d/init.d/nginx #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: Nginx is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx/nginx.pid # Source function library. . /etc/rc .d /init .d /functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx= "/usr/local/nginx/sbin/nginx" prog=$( basename $nginx) NGINX_CONF_FILE= "/etc/nginx/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile= /var/lock/subsys/nginx make_dirs() { # make required directories user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` options=`$nginx -V 2>&1 | grep 'configure arguments:' ` for opt in $options; do if [ ` echo $opt | grep '.*-temp-path' ` ]; then value=` echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $ "Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval - eq 0 ] && touch $lockfile return $retval } stop() { echo -n $ "Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval - eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $ "Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status > /dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $ "Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac |
而后为此脚本赋予执行权限:
1
|
# chmod +x /etc/rc.d/init.d/nginx |
添加至服务管理列表,并让其开机自动启动:
1
2
|
# chkconfig --add nginx # chkconfig nginx on |
配置nginx常用环境变量
1
2
3
4
5
6
|
--配置nginx程序执行环境变量 # echo "export PATH=/usr/local/nginx/sbin:$PATH" > /etc/profile.d/nginx.sh # . /etc/profile.d/nginx.sh --配置nginx语法着色 # mkdir .vim # cp -ra /usr/src/nginx-1.11.3/contrib/vim/* .vim/ |
而后就可以启动服务并测试了:
1
|
# service nginx start |
以上为LNMP架构nginx配置过程。
二、安装mysql-5.5.28
1、准备数据存放的文件系统
新建一个逻辑卷,并将其挂载至特定目录即可。过程如下:
1
2
3
4
5
6
7
8
9
10
|
--新建大小为20G的分区为LVM # fdisk -l /dev/sda | grep sda3 /dev/sda3 7675 10286 20976471 8e Linux LVM --新建物理逻辑卷 # pvcreate /dev/sda3 --新建逻辑卷组 # vgcreate myvg /dev/sda3 --新建大小为15G的逻辑卷 # lvcreate -L 15G -n mydata myvg # mke2fs -t ext4 /dev/myvg/mydata |
这里假设其逻辑卷的挂载目录为/mydata,而后需要创建/mydata/data目录做为mysql数据的存放目录。
1
2
3
4
5
|
# mkdir /mydata # vim /etc/fstab /dev/myvg/mydata /mydata ext4 defaults,acl 0 0 # mount -a # mkdir /mydata/data |
2、新建用户以安全方式运行进程:
1
2
3
4
5
|
# groupadd -r mysql # useradd -g mysql -r -s /sbin/nologin -M -d /mydata/data mysql # mkdir /mydata/binlogs # chown -R mysql:mysql /mydata/data/ # chown -R mysql:mysql /mydata/binlogs |
3.安装编译代码需要的包
1
2
|
# yum -y install ncurses-devel cmake # rpm -ivh bison-devel-2.4.1-5.el6.x86_64.rpm |
4、安装并初始化mysql-5.6.32
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
# tar xf mysql-5.6.32.tar.gz # cd mysql-5.6.32 # cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \ > -DMYSQL_DATADIR= /mydata/data \ > -DSYSCONFDIR= /etc \ > -DWITH_INNOBASE_STORAGE_ENGINE=1 \ > -DWITH_ARCHIVE_STORAGE_ENGINE=1 \ > -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \ > -DWITH_READLINE=1 \ > -DWITH_SSL=system \ > -DWITH_ZLIB=system \ > -DWITH_LIBWRAP=0 \ > -DMYSQL_UNIX_ADDR= /tmp/mysql .sock \ > -DDEFAULT_CHARSET=utf8 \ > -DDEFAULT_COLLATION=utf8_general_ci # make && make install |
5、授予mysql程序目录权限:
1
2
|
# cd /usr/local/mysql/ # chown -R :mysql /usr/local/mysql/ |
6、初始化mysql数据基本目录及库文件
1
|
# scripts/mysql_install_db --user=mysql --datadir=/mydata/data/ |
7、为mysql提供主配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
# cp support-files/my-default.cnf /etc/my.cnf # vim /etc/my.cnf [mysqld] port = 3306 socket = /tmp/mysql .sock skip-external-locking key_buffer_size = 256M max_allowed_packet = 1M table_open_cache = 256 sort_buffer_size = 1M read_buffer_size = 1M read_rnd_buffer_size = 4M myisam_sort_buffer_size = 64M thread_cache_size = 8 query_cache_size= 16M thread_concurrency = 2 datadir = /mydata/data innodb_file_per_table = on binlog_format=mixed log-bin= /mydata/binlogs/mysql-binlog server- id = 1 |
8、为mysql提供SysV init脚本:
1
2
|
# cp support-files/mysql.server /etc/init.d/mysqld # chkconfig --add mysqld |
9、配置mysql常用环境变量
1
2
3
|
--配置mysql程序执行环境变量 # echo "export PATH=/usr/local/mysql/bin/:$PATH" > /etc/profile.d/mysql.sh # . /etc/profile.d/mysql.sh |
10、提供man手册至man命令的查找路径
1
2
|
# vim/etc/man.config --加入下行内容 MANPATH /usr/local/mysql/man |
11、输出mysql的头文件至系统头文件路径
1
|
# ln -sv /usr/local/mysql/include /usr/include/mysql |
12、输出MariaDB的库文件给系统的查找路径
1
2
3
|
# echo "/usr/local/mysql/lib" > /etc/ld.so.conf.d/mysql.conf # ldconfig # ldconfig -v | grep mysql |
以上为mysql编译安装过程
三、编译安装php-5.6.18
1、解决依赖关系
1
2
3
4
5
6
7
|
# yum -y install pcre-devel openssl-devel libxml2-devel bzip2-devel # yum -y install php-gd freetype-devel libjpeg-devel libpng-devel # yum -y install libmcrypt-2.5.8-9.el6.x86_64.rpm # yum -y install libmcrypt-devel-2.5.8-9.el6.x86_64.rpm # yum -y install mhash-0.9.9.9-3.el6.x86_64.rpm # yum -y install mhash-devel-0.9.9.9-3.el6.x86_64.rpm # yum -y install libcurl-devel |
2、编译安装
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
# tar xf php-5.6.18.tar.gz # cd php-5.6.18 . /configure --prefix= /usr/local/php \ --with-config- file -path= /usr/local/php/etc \ -- enable -inline-optimization \ --disable-debug \ --disable-rpath \ -- enable -shared \ -- enable -opcache \ -- enable -fpm \ --with-mysql= /usr/local/mysql \ --with-mysqli= /usr/local/mysql/bin/mysql_config \ --with-pdo-mysql= /usr/local/mysql \ --with-gettext \ -- enable -mbstring \ --with-iconv \ --with-mcrypt \ --with-mhash \ --with-openssl \ -- enable -bcmath \ -- enable -soap \ --with-libxml- dir \ -- enable -pcntl \ -- enable -shmop \ -- enable -sysvmsg \ -- enable -sysvsem \ -- enable -sysvshm \ -- enable -sockets \ --with-curl \ --with-zlib \ -- enable -zip \ --with-bz2 \ --with-gd \ --with-freetype- dir \ --with-jpeg- dir \ --with-png- dir # make -j 4 && make install |
3、为php提供配置文件
1
2
3
|
# cp php.ini-production /usr/local/php/etc/php.ini # vim /usr/local/php/etc/php.ini date .timezone = Asia /Shanghai |
4、为php-fpm提供Sysv init脚本,并将其添加至服务列表:
1
2
3
4
|
# cp sapi/fpm/init.d.php-fpm /etc/rc.d/init.d/php-fpm # chmod +x /etc/rc.d/init.d/php-fpm # chkconfig --add php-fpm # chkconfig php-fpm on |
5、为php-fpm提供配置文件:
1
|
# cp /usr/local/php/etc/php-fpm.conf.default /usr/local/php/etc/php-fpm.conf |
6、编辑php-fpm的配置文件:
1
|
# vim /usr/local/php/etc/php-fpm.conf |
配置fpm的相关选项为你所需要的值,并启用pid文件(如下最后一行):
1
2
3
4
5
6
7
|
pm.max_children = 50 pm.start_servers = 5 pm.min_spare_servers = 2 #这个数值不能大于start_server,想想知道,不然php服务起不来 pm.max_spare_servers = 8 pid = /usr/local/php/var/run/php-fpm .pid --检查配置文件正确性 # /usr/local/php/sbin/php-fpm -t |
7、配置php命令环境变量
1
2
|
# echo "export PATH=/usr/local/php/bin/:$PATH" > /etc/profile.d/php.sh # . /etc/profile.d/php.sh |
8、接下来就可以启动php-fpm了:
1
|
# service php-fpm start |
使用如下命令来验证(如果此命令输出有中几个php-fpm进程就说明启动成功了):
1
|
# ps aux | grep php-fpm |
9、整合nginx和php5
1、编辑/etc/nginx/nginx.conf,配置如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
|
并在所支持的主页面格式中添加php格式的主页,类似如下: location / { root html; index index.php index.html index.htm; } 启用如下选项: location ~ \.php$ { root html; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; include fastcgi_params; } |
2、在/usr/local/nginx/html新建index.php的测试页面,测试php是否能正常工作:
1
2
3
4
5
|
# cat > /usr/local/nginx/html/index.php << EOF > <?php > phpinfo(); > ?> > EOF |
接着就可以通过浏览器访问此测试页面了。
五、安装xcache,为php加速
1、安装
1
2
3
4
5
6
7
8
9
|
# tar xf xcache-3.2.0.tar.gz # cd xcache-3.2.0 # /usr/local/php/bin/phpize Configuring for : PHP Api Version: 20131106 Zend Module Api No: 20131226 Zend Extension Api No: 220131226 # ./configure --enable-xcache --with-php-config=/usr/local/php/bin/php-config # make && make install |
安装结束时,会出现类似如下行:
1
|
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20131226/ |
2、编辑php.ini,整合php和xcache:
首先将xcache提供的样例配置导入php.ini
1
2
|
# mkdir /etc/php.d # cp xcache.ini /etc/php.d |
说明:xcache.ini文件在xcache的源码目录中。
接下来编辑/etc/php.d/xcache.ini,找到extension开头的行,修改为如下行:
1
2
3
4
|
extension = /usr/local/php/lib/php/extensions/no-debug-non-zts-20131226/xcache .so --将配置追加至php.ini配置文件中 # cat /etc/php.d/xcache.ini >> /usr/local/php/etc/php.ini |
3、重新启动php-fpm及nginx
1
2
|
# service php-fpm restart # service nginx restart |
4、测试访问如下所示:
以上为lnmp架构应用所有内容。