linux性能优化与内核参数优化
1.性能问题理论综述
系统的性能是指操作系统完成任务的有效性、稳定性和响应速度
linux系统管理员可能会经常遇到系统不稳定、响应速度慢等问题,例如在linxu上搭建了一个web服务,经常会出现网页无法打开、打开速度慢等现象,而遇到这些问题,就会有人抱怨linux系统不好,其实这些都是表面现象。操作系统完成一个任务时,与系统自身设置、网络拓扑结构、路由设备、路由策略、接入设备、物理线路的多个方面都密切相关,任何一个环节出现问题,都会影响整个系统的性能。因此当linux应用出现问题是,应当重应用程序、操作系统、服务器硬件、网络环境等方面综合排查,定位问题出现在哪个部分,然后集中解决。
在应用程序、操作系统、硬件服务、网络环境等方面,影响性能最大的是应用程序和操作系统两个方面,应为这两个方面出现问题不易察觉,隐蔽性很强。而硬件、网络方面只要出现问题,一般都能马上定位。下面主要讲解操作系统方面的性能调优思路,应用程序方面需要具体问题具体对待。
2.系统硬件资源
2.1 cpu
cpu是操作系统稳定运行的根本,cpu的速度与性能在很大程度上决定了系统整体的性能,因此理论上cpu数量越多、主频越高,服务器的性能也就相对越好。但是事实并非如此。
目前大部分的cpu在同一时间段内只能运行一个线程,超线程的处理器可以在同一时间运行多个线程,因此可以利用处理器的超线程特性提高系统性能。在linux系统下,只有运行SMP内核才能支持超线程,但是,安装的cpu的数量越多,从超线程获得的性能方面的提高就越少。另外,linux内核会把多核的处理器当做单独的cpu来识别,例如两个4和cpu在linux系统下就会被当做8个单核cpu。但是从性能角度来讲,2个四核的cpu和8个单核的cpu并不完全等价,根据权威部分测试得出结论,前者的整体性能要比后者低25%~30%。
可能出现cpu瓶颈的应用有db服务器、动态web服务器等,对于这类应用,要把cpu的配置和性能放在主要位置
2.2 内存
内存的大小也是影响Linux性能的一个重要因素,内存太小,系统进程将被阻塞,应用也将变得缓慢,甚至失去响应;内存太大,导致资源浪费。Linux系统采用了物理内存和虚拟内存(虚拟内存大数据中避免使用)两种方式,虚拟内存虽然可以缓解内存不足,但是占用过多的虚拟内存,应用程序的性能明显下降,要保证应用程序的高性能的运行,物理内存一定要足够大;但是过大的物理内存,会造成内存资源的浪费,例如,在一个32位处理器的linux操作系统上,超过8G的物理内存都将被浪费。因此,要是用更大的内存,建议安装64位操作系统,同时开启Linux的大内存支持。
犹豫处理器寻址范围的限制,在32位Linux操作系统上,应用程序单个进程最大只能使用4GB的内存,这样一来,即使系统有更大的内存,应用程序也无法‘享’用。解决办法就是使用64位处理器,安装64位操作系统。在64位操作系统下,可以满足所有程序对内存使用的需求,几乎没有限制。
可能出现内存性能瓶颈的应用有NOSQL(非关系型的数据库)服务器,数据库服务器、缓存服务器等,对于这类应用要把内存大小放在主要位置
2.3磁盘I/O性能
磁盘的I/O性能直接影响应用程序的性能,在一个有频繁读写的应用中,如果磁盘I/O性能得不到满足,就会导致应用停滞。好在现今的磁盘都才用了很多方法来提高I/O性能,比如常见的磁盘RAID技术。
通过RAID技术组成的磁盘组,就相当于一个大硬盘,用户可以对它进行分区格式化、建立文件系统操作,跟单个物理硬盘一模一样,唯一不同的是RAID磁盘组的I/O性能比单个硬盘要高很多,同时在数据的安全性也有很大提升。
根据磁盘组合方式的不同,RAID可以分为RAID0,RAID1、RAID2、RAID3、RAID4、RAID5、RAID6、RAID7、RAID0+1、RAID10等级别,常用的RAID级别有RAID0、RAID1、RAID5、RAID0+1,这里进行简单的介绍。
RAID0:通过把多块硬盘粘合成一个容量更大的硬盘组,提高磁盘的性能和吞吐量。这种方式成本低,要求至少两个硬盘,但是没用容错和数据修复功能,因此只能用在对数据安全性要求不高的环境中。
RAID1:也就是磁盘镜像,通过把一个磁盘的数据镜像到另一个磁盘上,最大限度地保证磁盘数据的可靠性和可修复性,具有很高的数据冗余能力,但磁盘的利用率只有50%,因而,成本最高,多用在保存重要数据的场合。
RAID5:才用了磁盘分段加奇偶校验技术,从而提高了系统可靠性,读出效率很高,写入效率一般,至少需要3块盘。允许一块磁盘故障,而不影响数据的可用性。
RAID0+1:把RAID0和RAID1技术结合起来就是RAID0+1,至少需要4块盘。此种方式的数据除分布在多个盘上外,每个盘都有其镜像盘,提供全冗能力,同时允许一个磁盘故障,而不影响数据可用性,并具有快速读/写能力。
通过了解各个RAID级别的性能,可以根据应用的不同特性,选择适合自身的RAID级别,从而保证应用程序在磁盘方面达到最优性能。
2.4网络带宽
linux下的各种应用,一般都是基于网络的,因此网络带宽也是影响性能的一个重要因素,低速的、不稳定的网络将导致网络应用程序的访问阻塞,而稳定、高速的网络带宽,可以保证应用程序在网络上畅通无阻地运行。幸运的是现在的网络一般都是千兆带宽或光线网络,带宽问题对于应用程序性能造成的影响也在逐步降低。
3.操作系统相关资源
基于操作系统的性能优化也是多方面的,可以从系统安装、系统内核参数、网络参数、文件系统等几个方面进行衡量,下面依次进行简单介绍。
3.1系统安装优化
系统优化可以从安装操作系统开始,当安装linux系统时,磁盘的划分,SWAP内存的分配都直接影响以后系统的运行性能。例如,磁盘分配可以遵循应用的需求:对于写操作频繁而对数据安全性要求不高的应用,可以把磁盘做成RAID0;而对于对数据安全性较高,对读写没有特别要求的应用,可以把磁盘做成RAID1;对于对读操作要求较高,而对写操作无特殊要求,并保证数据数据安全性的应用,可以选择RAID5;对于读写要求都很高,并且对数据安全性要求也很高的应用,可以选择RAID10/RAID0+1。这样通过不同的应用需求设置不同的RAID级别,在磁盘底层对系统进行优化操作。
随着内存价格的降低和内存容量的日益增大,对虚拟内存SWAP的设定,现在已经没有了所谓虚拟内存是物理内存两倍的需求,但是SWAP的设定还是不能忽略,根据经验,如果内存较小(物理内存小于4GB),一般设置SWAP交换分区大小为内存的2倍;如果内存大于8GB小于16GB们可以设置SWAP大小等于或略小于物理内存即可;如果内存大小在16GB以上,原则上可以设置SWAP为0,但并不建议这么做,因为设置一定大小的SWAP还是有一定作用的
在我们大数据环境中,一般搭建大数据集群式都会禁用swap分区
3.2内核参数优化
系统安装完成后,优化工作并没有结束,记下来还可以对系统内核参数进行优化,不过内核参数的优化要和系统中部署的应用结合起来整体考虑。例如,如果系统部署的是Oracle数据库应用,那么就需要对系统共享内存段(kernel.shmmax、kernel.shmmni、kernel.shmall)、系统信号量(kernel.sem)、文件句柄(fs.file-max)等参数进行优化蛇者;如果部署的是web应用,那么就需要根据web应用特性进行网络参数的优化,例如修改net.ipv4.ip_local_port_range、net.ipv4.tcp_tw_reuse、net.core.somaxconn等网络内核参数。
3.3文件系统优化
文件系统的优化也是系统资源优化的一个重点,在linux下可选的文件系统有ext2、ext3、ReiserFS、ext4、xfs,根据不同的应用,选择不同的文件系统。
linux标准文件系统是从VFS开始的,然后是ext,接着是ext2,应该说ext2是Linux上标准的文件系统,ext3是在ext2的基础上增加日志形成的,从VFS到ext4,其设计思路没有太大的变化,都是早期UNIX家族基于超级块和inode的设计理念。
xfs文件系统是一个高级日志文件系统,xfs通过分布处理磁盘请求、定位数据、保持cache的一致性来提供对文件系统数据的低延迟、高带宽的访问,因此,xfs极具伸缩性,非常健壮,具有优秀的日志记录功能、可扩展性强、快速写入等优点。
目前服务前端ext4和xfs是主流文件系统,如何选择合适的文件系统,需要根据文件系统的特点加上业务需求综合来定。