1.关于EUC编码格式的一些类型
http://www.wanweibaike.com/wiki-EUC
2.sar命令查看网卡流量
------------------------------------------------
sar -n DEV 1 2
sar命令包含在sysstat工具包中，提供系统的众多统计数据。其在不同的系统上命令有些差异，某些系统提供的sar支持基于网络接口的数据统计，也可以查看设备上每秒收发包的个数和流量。
sar –n DEV 1 2
命令后面1 2 意思是：每一秒钟取1次值，取2次。
DEV显示网络接口信息
另外，-n参数很有用，他有6个不同的开关：DEV | EDEV | NFS | NFSD | SOCK | ALL ，其代表的含义如下：
DEV显示网络接口信息。
EDEV显示关于网络错误的统计数据。
NFS统计活动的NFS客户端的信息。
NFSD统计NFS服务器的信息
SOCK显示套接字信息
ALL显示所有5个开关
参数说明：
IFACE：LAN接口
rxpck/s：每秒钟接收的数据包
txpck/s：每秒钟发送的数据包
rxbyt/s：每秒钟接收的字节数
txbyt/s：每秒钟发送的字节数
rxcmp/s：每秒钟接收的压缩数据包
txcmp/s：每秒钟发送的压缩数据包
rxmcst/s：每秒钟接收的多播数据包
rxerr/s：每秒钟接收的坏数据包
txerr/s：每秒钟发送的坏数据包
coll/s：每秒冲突数
rxdrop/s：因为缓冲充满，每秒钟丢弃的已接收数据包数
txdrop/s：因为缓冲充满，每秒钟丢弃的已发送数据包数
txcarr/s：发送数据包时，每秒载波错误数
rxfram/s：每秒接收数据包的帧对齐错误数
rxfifo/s：接收的数据包每秒FIFO过速的错误数
txfifo/s：发送的数据包每秒FIFO过速的错误数
--------------------------------------------------
3.通过iptables来统计端口流量
1、输入监控
iptables -A INPUT -p tcp --dport 8080
2、输出监控
iptables -A OUTPUT -p tcp --sport 8080
3、查看统计数据
iptable -L -v -n -x
4、重置统计数据
Iptable -Z INPUT
Iptable -Z OUTPUT
5、移除统计端口
iptables -D INPUT -p tcp --dport 8080
iptables -D OUTPUT -p tcp --sport 8080
4.内核的shmall和shmmax参数
---------------------------------------------------------
内核的 shmall 和shmmax 参数
SHMMAX= 配置了最大的内存segment的大小 ------>这个设置的比SGA_MAX_SIZE大比较好。
SHMMIN= 最小的内存segment的大小
SHMMNI= 整个系统的内存segment的总个数
SHMSEG= 每个进程可以使用的内存segment的最大个数
配置信号灯（ semphore ）的参数：
SEMMSL= 每个semphore set里面的semphore数量 -----> 这个设置大于你的process的个数吧，否则你不得不分多个semphore set，好像有process+n之说，我忘了n是几了。
SEMMNI= 整个系统的semphore set总数
SEMMNS=整个系统的semphore总数
shmall 是全部允许使用的共享内存大小，shmmax 是单个段允许使用的大小。这两个可以设置为内存的 90%。例如 16G 内存，16*1024*1024*1024*90% = 15461882265，shmall 的大小为15461882265/4k(getconf PAGESIZE可得到) = 3774873。
修改 /etc/sysctl.conf
kernel.shmmax=15461882265
kernel.shmall=3774873
kernel.msgmax=65535
kernel.msgmnb=65535
执行 sudo sysctl -p
可以使用 ipcs -l 看结果。ipcs -u 可以看到实际使用的情况
+++++++++++++++++++++++++++++++++++++++++++++
linux 内存管理
一、前言
本文档针对OOP8生产环境，具体优化策略需要根据实际情况进行调整；本文档将在以下几个方面来阐述如何针对RedHat Enterprise Linux进行性能优化。
1) Linux Proc文件系统，通过对Proc文件系统进行调整，达到性能优化的目的。
2) Linux性能诊断工具，介绍如何使用Linux自带的诊断工具进行性能诊断。
加粗斜体表示可以直接运行的命令。
下划线表示文件的内容。
二、/proc/sys/kernel/优化
1) /proc/sys/kernel/ctrl-alt-del
该文件有一个二进制值，该值控制系统在接收到ctrl+alt+delete按键组合时如何反应。这两个值分别是：
零（0）值，表示捕获ctrl+alt+delete，并将其送至 init 程序；这将允许系统可以安全地关闭和重启，就好象输入shutdown命令一样。
壹（1）值，表示不捕获ctrl+alt+delete，将执行非正常的关闭，就好象直接关闭电源一样。
缺省设置：0
建议设置：1，防止意外按下ctrl+alt+delete导致系统非正常重启。
2) proc/sys/kernel/msgmax
该文件指定了从一个进程发送到另一个进程的消息的最大长度（bytes）。进程间的消息传递是在内核的内存中进行的，不会交换到磁盘上，所以如果增加该值，则将增加操作系统所使用的内存数量。
缺省设置：8192
3) /proc/sys/kernel/msgmnb
该文件指定一个消息队列的最大长度（bytes）。
缺省设置：16384
4) /proc/sys/kernel/msgmni
该文件指定消息队列标识的最大数目，即系统范围内最大多少个消息队列。
缺省设置：16
5) /proc/sys/kernel/panic
该文件表示如果发生“内核严重错误（kernel panic）”，则内核在重新引导之前等待的时间（以秒为单位）。
零（0）秒，表示在发生内核严重错误时将禁止自动重新引导。
缺省设置：0
6) proc/sys/kernel/shmall
该文件表示在任何给定时刻，系统上可以使用的共享内存的总量（bytes）。
缺省设置：2097152
7) /proc/sys/kernel/shmmax
该文件表示内核所允许的最大共享内存段的大小（bytes）。
缺省设置：33554432
建议设置：物理内存 * 50%
实际可用最大共享内存段大小=shmmax * 98%，其中大约2%用于共享内存结构。
可以通过设置shmmax，然后执行ipcs -l来验证。
8) /proc/sys/kernel/shmmni
该文件表示用于整个系统的共享内存段的最大数目（个）。
缺省设置：4096
9) /proc/sys/kernel/threads-max
该文件表示内核所能使用的线程的最大数目。
缺省设置：2048
10) /proc/sys/kernel/sem
该文件用于控制内核信号量，信号量是System VIPC用于进程间通讯的方法。
建议设置：250 32000 100 128
第一列，表示每个信号集中的最大信号量数目。
第二列，表示系统范围内的最大信号量总数目。
第三列，表示每个信号发生时的最大系统操作数目。
第四列，表示系统范围内的最大信号集总数目。
所以，（第一列）*（第四列）=（第二列）
以上设置，可以通过执行ipcs -l来验证。
11) 待续。。。
三、/proc/sys/vm/优化
1) /proc/sys/vm/block_dump
该文件表示是否打开Block Debug模式，用于记录所有的读写及Dirty Block写回动作。
缺省设置：0，禁用Block Debug模式
2) /proc/sys/vm/dirty_background_ratio
该文件表示脏数据到达系统整体内存的百分比，此时触发pdflush进程把脏数据写回磁盘。
缺省设置：10
3) /proc/sys/vm/dirty_expire_centisecs
该文件表示如果脏数据在内存中驻留时间超过该值，pdflush进程在下一次将把这些数据写回磁盘。
缺省设置：3000（1/100秒）
4) /proc/sys/vm/dirty_ratio
该文件表示如果进程产生的脏数据到达系统整体内存的百分比，此时进程自行把脏数据写回磁盘。
缺省设置：40
5) /proc/sys/vm/dirty_writeback_centisecs
该文件表示pdflush进程周期性间隔多久把脏数据写回磁盘。
缺省设置：500（1/100秒）
6) /proc/sys/vm/vfs_cache_pressure
该文件表示内核回收用于directory和inode cache内存的倾向；缺省值100表示内核将根据pagecache和swapcache，把directory和inode cache保持在一个合理的百分比；降低该值低于100，将导致内核倾向于保留directory和inode cache；增加该值超过100，将导致内核倾向于回收directory和inode cache。
缺省设置：100
7) /proc/sys/vm/min_free_kbytes
该文件表示强制Linux VM最低保留多少空闲内存（Kbytes）。
缺省设置：724（512M物理内存）
8) /proc/sys/vm/nr_pdflush_threads
该文件表示当前正在运行的pdflush进程数量，在I/O负载高的情况下，内核会自动增加更多的pdflush进程。
缺省设置：2（只读）
9) /proc/sys/vm/overcommit_memory
该文件指定了内核针对内存分配的策略，其值可以是0、1、2。
0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。
1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。
2， 表示内核允许分配超过所有物理内存和交换空间总和的内存（参照overcommit_ratio）。
缺省设置：0
10) /proc/sys/vm/overcommit_ratio
该文件表示，如果overcommit_memory=2，可以过载内存的百分比，通过以下公式来计算系统整体可用内存。
系统可分配内存=交换空间+物理内存*overcommit_ratio/100
缺省设置：50（%）
11) /proc/sys/vm/page-cluster
该文件表示在写一次到swap区的时候写入的页面数量，0表示1页，1表示2页，2表示4页。
缺省设置：3（2的3次方，8页）
12) /proc/sys/vm/swapiness
该文件表示系统进行交换行为的程度，数值（0-100）越高，越可能发生磁盘交换。
缺省设置：60
13) legacy_va_layout
该文件表示是否使用最新的32位共享内存mmap()系统调用，Linux支持的共享内存分配方式包括mmap()，Posix，System VIPC。
0， 使用最新32位mmap()系统调用。
1， 使用2.4内核提供的系统调用。
缺省设置：0
14) nr_hugepages
该文件表示系统保留的hugetlb页数。
15) hugetlb_shm_group
该文件表示允许使用hugetlb页创建System VIPC共享内存段的系统组ID。
16) 待续。。。
四、/proc/sys/fs/优化
1) /proc/sys/fs/file-max
该文件指定了可以分配的文件句柄的最大数目。如果用户得到的错误消息声明由于打开
文件数已经达到了最大值，从而他们不能打开更多文件，则可能需要增加该值。
缺省设置：4096
建议设置：65536
2) /proc/sys/fs/file-nr
该文件与 file-max 相关，它有三个值：
已分配文件句柄的数目
已使用文件句柄的数目
文件句柄的最大数目
该文件是只读的，仅用于显示信息。
3) 待续。。。
五、/proc/sys/net/core/优化
该目录下的配置文件主要用来控制内核和网络层之间的交互行为。
1）/proc/sys/net/core/message_burst
写新的警告消息所需的时间（以 1/10 秒为单位）；在这个时间内系统接收到的其它警告消息会被丢弃。这用于防止某些企图用消息“淹没”系统的人所使用的拒绝服务（Denial of Service）攻击。
缺省设置：50（5秒）
2）/proc/sys/net/core/message_cost
该文件表示写每个警告消息相关的成本值。该值越大，越有可能忽略警告消息。
缺省设置：5
3）/proc/sys/net/core/netdev_max_backlog
该文件表示在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。
缺省设置：300
4）/proc/sys/net/core/optmem_max
该文件表示每个套接字所允许的最大缓冲区的大小。
缺省设置：10240
5）/proc/sys/net/core/rmem_default
该文件指定了接收套接字缓冲区大小的缺省值（以字节为单位）。
缺省设置：110592
6）/proc/sys/net/core/rmem_max
该文件指定了接收套接字缓冲区大小的最大值（以字节为单位）。
缺省设置：131071
7）/proc/sys/net/core/wmem_default
该文件指定了发送套接字缓冲区大小的缺省值（以字节为单位）。
缺省设置：110592
8）/proc/sys/net/core/wmem_max
该文件指定了发送套接字缓冲区大小的最大值（以字节为单位）。
缺省设置：131071
9） 待续。。。
六、/proc/sys/net/ipv4/优化
1) /proc/sys/net/ipv4/ip_forward
该文件表示是否打开IP转发。
0，禁止
1，转发
缺省设置：0
2) /proc/sys/net/ipv4/ip_default_ttl
该文件表示一个数据报的生存周期（Time To Live），即最多经过多少路由器。
缺省设置：64
增加该值会降低系统性能。
3) /proc/sys/net/ipv4/ip_no_pmtu_disc
该文件表示在全局范围内关闭路径MTU探测功能。
缺省设置：0
4) /proc/sys/net/ipv4/route/min_pmtu
该文件表示最小路径MTU的大小。
缺省设置：552
5) /proc/sys/net/ipv4/route/mtu_expires
该文件表示PMTU信息缓存多长时间（秒）。
缺省设置：600（秒）
6) /proc/sys/net/ipv4/route/min_adv_mss
该文件表示最小的MSS（Maximum Segment Size）大小，取决于第一跳的路由器MTU。
缺省设置：256（bytes）
6.1 IP Fragmentation
1) /proc/sys/net/ipv4/ipfrag_low_thresh/proc/sys/net/ipv4/ipfrag_low_thresh
两个文件分别表示用于重组IP分段的内存分配最低值和最高值，一旦达到最高内存分配值，其它分段将被丢弃，直到达到最低内存分配值。
缺省设置：196608（ipfrag_low_thresh）
262144（ipfrag_high_thresh）
2) /proc/sys/net/ipv4/ipfrag_time
该文件表示一个IP分段在内存中保留多少秒。
缺省设置：30（秒）
6.2 INET Peer Storage
1) /proc/sys/net/ipv4/inet_peer_threshold
INET对端存储器某个合适值，当超过该阀值条目将被丢弃。该阀值同样决定生存
时间以及废物收集通过的时间间隔。条目越多，存活期越低，GC 间隔越短。
缺省设置：65664
2) /proc/sys/net/ipv4/inet_peer_minttl
条目的最低存活期。在重组端必须要有足够的碎片(fragment)存活期。这个最低
存活期必须保证缓冲池容积是否少于 inet_peer_threshold。该值以 jiffies为
单位测量。
缺省设置：120
3) /proc/sys/net/ipv4/inet_peer_maxttl
条目的最大存活期。在此期限到达之后，如果缓冲池没有耗尽压力的话(例如：缓
冲池中的条目数目非常少)，不使用的条目将会超时。该值以jiffies为单位测量。
缺省设置：600
4) /proc/sys/net/ipv4/inet_peer_gc_mintime
废物收集(GC)通过的最短间隔。这个间隔会影响到缓冲池中内存的高压力。 该值
以 jiffies为单位测量。
缺省设置：10
2006-10-31 16:33 清水飘萍
5) /proc/sys/net/ipv4/inet_peer_gc_maxtime
废物收集(GC)通过的最大间隔，这个间隔会影响到缓冲池中内存的低压力。 该值
以 jiffies为单位测量。
缺省设置：120
6.3 TCP Variables
1) /proc/sys/net/ipv4/tcp_syn_retries
该文件表示本机向外发起TCP SYN连接超时重传的次数，不应该高于255；该值仅仅针对外出的连接，对于进来的连接由tcp_retries1控制。
缺省设置：5
2) /proc/sys/net/ipv4/tcp_keepalive_probes
该文件表示丢弃TCP连接前，进行最大TCP保持连接侦测的次数。保持连接仅在
SO_KEEPALIVE套接字选项被打开时才被发送。
缺省设置：9（次）
3) /proc/sys/net/ipv4/tcp_keepalive_time
该文件表示从不再传送数据到向连接上发送保持连接信号之间所需的秒数。
缺省设置：7200（2小时）
4) /proc/sys/net/ipv4/tcp_keepalive_intvl
该文件表示发送TCP探测的频率，乘以tcp_keepalive_probes表示断开没有相应的TCP连接的时间。
缺省设置：75（秒）
5) /proc/sys/net/ipv4/tcp_retries1
该文件表示放弃回应一个TCP连接请求前进行重传的次数。
缺省设置：3
6) /proc/sys/net/ipv4/tcp_retries2
该文件表示放弃在已经建立通讯状态下的一个TCP数据包前进行重传的次数。
缺省设置：15
7) /proc/sys/net/ipv4/tcp_orphan_retries
在近端丢弃TCP连接之前，要进行多少次重试。默认值是 7 个，相当于 50秒–
16分钟，视 RTO 而定。如果您的系统是负载很大的web服务器，那么也许需
要降低该值，这类 sockets 可能会耗费大量的资源。另外参考
tcp_max_orphans。
8) /proc/sys/net/ipv4/tcp_fin_timeout
对于本端断开的socket连接，TCP保持在FIN-WAIT-2状态的时间。对方可能
会断开连接或一直不结束连接或不可预料的进程死亡。默认值为 60 秒。过去在
2.2版本的内核中是 180 秒。您可以设置该值，但需要注意，如果您的机器为负
载很重的web服务器，您可能要冒内存被大量无效数据报填满的风险，
FIN-WAIT-2 sockets 的危险性低于 FIN-WAIT-1，因为它们最多只吃 1.5K
的内存，但是它们存在时间更长。另外参考 tcp_max_orphans。
缺省设置：60（秒）
9) /proc/sys/net/ipv4/tcp_max_tw_buckets
系统在同时所处理的最大timewait sockets 数目。如果超过此数的话，
time-wait socket 会被立即砍除并且显示警告信息。之所以要设定这个限制，纯
粹为了抵御那些简单的 DoS 攻击，千万不要人为的降低这个限制，不过，如果
网络条件需要比默认值更多，则可以提高它(或许还要增加内存)。
缺省设置：180000
10) /proc/sys/net/ipv4/tcp_tw_recyle
打开快速 TIME-WAIT sockets 回收。除非得到技术专家的建议或要求，请不要随
意修改这个值。
缺省设置：0
11) /proc/sys/net/ipv4/tcp_tw_reuse
该文件表示是否允许重新应用处于TIME-WAIT状态的socket用于新的TCP连接。
缺省设置：0
12) /proc/sys/net/ipv4/tcp_max_orphans
系统所能处理不属于任何进程的TCP sockets最大数量。假如超过这个数量，那
么不属于任何进程的连接会被立即reset，并同时显示警告信息。之所以要设定这
个限制，纯粹为了抵御那些简单的 DoS 攻击，千万不要依赖这个或是人为的降
低这个限制。
缺省设置：8192
13) /proc/sys/net/ipv4/tcp_abort_on_overflow
当守护进程太忙而不能接受新的连接，就向对方发送reset消息，默认值是false。
这意味着当溢出的原因是因为一个偶然的猝发，那么连接将恢复状态。只有在你确
信守护进程真的不能完成连接请求时才打开该选项，该选项会影响客户的使用。
缺省设置：０
14) /proc/sys/net/ipv4/tcp_syncookies
该文件表示是否打开TCP同步标签(syncookie)，内核必须打开了 CONFIG_SYN_COOKIES项进行编译。 同步标签(syncookie)可以防止一个套接字在有过多试图连接到达时引起过载。
缺省设置：0
15) /proc/sys/net/ipv4/tcp_stdurg
使用 TCP urg pointer 字段中的主机请求解释功能。大部份的主机都使用老旧的
BSD解释，因此如果您在 Linux 打开它，或会导致不能和它们正确沟通。
缺省设置：0
16) /proc/sys/net/ipv4/tcp_max_syn_backlog
对于那些依然还未获得客户端确认的连接请求，需要保存在队列中最大数目。对于
超过 128Mb 内存的系统，默认值是1024，低于 128Mb 的则为 128。如果
服务器经常出现过载，可以尝试增加这个数字。警告！假如您将此值设为大于
1024，最好修改include/net/tcp.h 里面的TCP_SYNQ_HSIZE，以保持
TCP_SYNQ_HSIZE*16 0)或者bytes-bytes/2^(-tcp_adv_win_scale)(如
果tcp_adv_win_scale 128Mb 32768-610000)则系统将忽略所有发送给自己
的ICMP ECHO请求或那些广播地址的请求。
缺省设置：1024
17) /proc/sys/net/ipv4/tcp_window_scaling
该文件表示设置tcp/ip会话的滑动窗口大小是否可变。参数值为布尔值，为1时表示可变，为0时表示不可变。tcp/ip通常使用的窗口最大可达到 65535 字节，对于高速网络，该值可能太小，这时候如果启用了该功能，可以使tcp/ip滑动窗口大小增大数个数量级，从而提高数据传输的能力。
缺省设置：1
18) /proc/sys/net/ipv4/tcp_sack
该文件表示是否启用有选择的应答（Selective Acknowledgment），这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）；（对于广域网通信来说）这个选项应该启用，但是这会增加对 CPU 的占用。
缺省设置：1
19) /proc/sys/net/ipv4/tcp_timestamps
该文件表示是否启用以一种比超时重发更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项。
缺省设置：1
20) /proc/sys/net/ipv4/tcp_fack
该文件表示是否打开FACK拥塞避免和快速重传功能。
缺省设置：1
21) /proc/sys/net/ipv4/tcp_dsack
该文件表示是否允许TCP发送“两个完全相同”的SACK。
缺省设置：1
22) /proc/sys/net/ipv4/tcp_ecn
该文件表示是否打开TCP的直接拥塞通告功能。
缺省设置：0
23) /proc/sys/net/ipv4/tcp_reordering
该文件表示TCP流中重排序的数据报最大数量。
缺省设置：3
24) /proc/sys/net/ipv4/tcp_retrans_collapse
该文件表示对于某些有bug的打印机是否提供针对其bug的兼容性。
缺省设置：1
25) /proc/sys/net/ipv4/tcp_wmem
该文件包含3个整数值，分别是：min，default，max
Min：为TCP socket预留用于发送缓冲的内存最小值。每个TCP socket都可以使用它。
Default：为TCP socket预留用于发送缓冲的内存数量，默认情况下该值会影响其它协议使用的net.core.wmem中default的 值，一般要低于net.core.wmem中default的值。
Max：为TCP socket预留用于发送缓冲的内存最大值。该值不会影响net.core.wmem_max，今天选择参数SO_SNDBUF则不受该值影响。默认值为128K。
缺省设置：4096 16384 131072
26) /proc/sys/net/ipv4/tcp_rmem
该文件包含3个整数值，分别是：min，default，max
Min：为TCP socket预留用于接收缓冲的内存数量，即使在内存出现紧张情况下TCP socket都至少会有这么多数量的内存用于接收缓冲。
Default：为TCP socket预留用于接收缓冲的内存数量，默认情况下该值影响其它协议使用的 net.core.wmem中default的值。该值决定了在tcp_adv_win_scale、tcp_app_win和tcp_app_win的 默认值情况下，TCP 窗口大小为65535。
Max：为TCP socket预留用于接收缓冲的内存最大值。该值不会影响 net.core.wmem中max的值，今天选择参数 SO_SNDBUF则不受该值影响。
缺省设置：4096 87380 174760
27) /proc/sys/net/ipv4/tcp_mem
该文件包含3个整数值，分别是：low，pressure，high
Low：当TCP使用了低于该值的内存页面数时，TCP不会考虑释放内存。
Pressure：当TCP使用了超过该值的内存页面数量时，TCP试图稳定其内存使用，进入pressure模式，当内存消耗低于low值时则退出pressure状态。
High：允许所有tcp sockets用于排队缓冲数据报的页面量。
一般情况下这些值是在系统启动时根据系统内存数量计算得到的。
缺省设置：24576 32768 49152
28) /proc/sys/net/ipv4/tcp_app_win
该文件表示保留max(window/2^tcp_app_win, mss)数量的窗口由于应用缓冲。当为0时表示不需要缓冲。
缺省设置：31
29) /proc/sys/net/ipv4/tcp_adv_win_scale
该文件表示计算缓冲开销bytes/2^tcp_adv_win_scale(如果tcp_adv_win_scale >; 0)或者bytes-bytes/2^(-tcp_adv_win_scale)(如果tcp_adv_win_scale <= 0）。
缺省设置：2
6.4 IP Variables
1) /proc/sys/net/ipv4/ip_local_port_range
该文件表示TCP／UDP协议打开的本地端口号。
缺省设置：1024 4999
建议设置：32768 61000
2) /proc/sys/net/ipv4/ip_nonlocal_bind
该文件表示是否允许进程邦定到非本地地址。
缺省设置：0
3) /proc/sys/net/ipv4/ip_dynaddr
该参数通常用于使用拨号连接的情况，可以使系统动能够立即改变ip包的源地址为该ip地址，同时中断原有的tcp对话而用新地址重新发出一个syn请求 包，开始新的tcp对话。在使用ip欺骗时，该参数可以立即改变伪装地址为新的ip地址。该文件表示是否允许动态地址，如果该值非0，表示允许；如果该值 大于1，内核将通过log记录动态地址重写信息。
缺省设置：0
4) /proc/sys/net/ipv4/icmp_echo_ignore_all/proc/sys/net/ipv4/icmp_echo_ignore_broadcasts
该文件表示内核是否忽略所有的ICMP ECHO请求，或忽略广播和多播请求。
0， 响应请求
1， 忽略请求
缺省设置：０
建议设置：1
5) /proc/sys/net/ipv4/icmp_ratelimit
6) /proc/sys/net/ipv4/icmp_ratemask
7) /proc/sys/net/ipv4/icmp_ignore_bogus_error_reponses
某些路由器违背RFC1122标准，其对广播帧发送伪造的响应来应答。这种违背行
为通常会被以告警的方式记录在系统日志中。如果该选项设置为True，内核不会
记录这种警告信息。
缺省设置：0
8) /proc/sys/net/ipv4/igmp_max_memberships
该文件表示多播组中的最大成员数量。
缺省设置：20
6.5 Other Configuration
1) /proc/sys/net/ipv4/confaccept_source_route
是否接受含有源路由信息的ip包。参数值为布尔值，1表示接受，0表示不接受。在
充当网关的linux主机上缺省值为1，在一般的linux主机上缺省值为0。从安全性角
度出发，建议关闭该功能。
3) /proc/sys/net/ipv4proxy_arp
设置是否对网络上的arp包进行中继。参数值为布尔值，1表示中继，0表示忽略，
缺省值为0。该参数通常只对充当路由器的linux主机有用。
七、性能优化策略
7.1 基本优化
1) 关闭后台守护进程
系统安装完后，系统会默认启动一些后台守护进程，有些进程并不是必需的；因此，关闭这些进程可以节省一部分物理内存消耗。以root身份登录系统，运行ntsysv，选中如下进程：
iptables
network
syslog
random
apmd
xinetd
vsftpd
crond
local
修改完后，重新启动系统。
如此，系统将仅仅启动选中的这些守护进程。
2) 减少终端连接数
系统默认启动6个终端，而实际上只需启动3个即可；以root身份登录系统，运行vi /etc/inittab，修改成如下：
# Run gettys in standard runlevels
1:2345:respawn:/sbin/mingetty tty1
2:2345:respawn:/sbin/mingetty tty2
3:2345:respawn:/sbin/mingetty tty3
#4:2345:respawn:/sbin/mingetty tty4
#5:2345:respawn:/sbin/mingetty tty5
#6:2345:respawn:/sbin/mingetty tty6
如上所述，注释掉4、5、6终端。
3) 待续。。。
7.2 网络优化
1) 优化系统套接字缓冲区
net.core.rmem_max=16777216
net.core.wmem_max=16777216
2) 优化TCP接收／发送缓冲区
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
3) 优化网络设备接收队列
net.core.netdev_max_backlog=3000
4) 关闭路由相关功能
net.ipv4.conf.lo.accept_source_route=0
net.ipv4.conf.all.accept_source_route=0
net.ipv4.conf.eth0.accept_source_route=0
net.ipv4.conf.default.accept_source_route=0
net.ipv4.conf.lo.accept_redirects=0
net.ipv4.conf.all.accept_redirects=0
net.ipv4.conf.eth0.accept_redirects=0
net.ipv4.conf.default.accept_redirects=0
net.ipv4.conf.lo.secure_redirects=0
net.ipv4.conf.all.secure_redirects=0
net.ipv4.conf.eth0.secure_redirects=0
net.ipv4.conf.default.secure_redirects=0
net.ipv4.conf.lo.send_redirects=0
net.ipv4.conf.all.send_redirects=0
net.ipv4.conf.eth0.send_redirects=0
net.ipv4.conf.default.send_redirects=0
5) 优化TCP协议栈
打开TCP SYN cookie选项，有助于保护服务器免受SyncFlood攻击。
net.ipv4.tcp_syncookies=1
打开TIME-WAIT套接字重用功能，对于存在大量连接的Web服务器非常有效。
net.ipv4.tcp_tw_recyle=1
net.ipv4.tcp_tw_reuse=1
减少处于FIN-WAIT-2连接状态的时间，使系统可以处理更多的连接。
net.ipv4.tcp_fin_timeout=30
减少TCP KeepAlive连接侦测的时间，使系统可以处理更多的连接。
net.ipv4.tcp_keepalive_time=1800
增加TCP SYN队列长度，使系统可以处理更多的并发连接。
net.ipv4.tcp_max_syn_backlog=8192
---------------------------------------------------------
5.设置Linux上SGA的最大大小
--------------------------------------------------------
SGA系统全局区的英文简称，SGA （System Global Area）是Oracle Instance的 基本组成部分，在实例启动时分配。是一组包含一个Oracle实例的数据和控制信息的共享内存结构。主要是用于存储数据库信息的内存区，该信息为数据库进程所共享（PGA不能共享的）。它包含Oracle 服务器的数据和控制信息，它是在Oracle服务器所驻留的计算机的实际内存中得以分配，如果实际内存不够再往虚拟内存中写。
https://www.cnblogs.com/liuzhidbblogs/p/10590776.html
Red Hat企业版Linux（RHEL）2.1
创建一个共享内存文件系统（shmfs）
shmfs是一个内存文件系统，因此它可以与Red Hat Linux AS2.1支持的虚拟内存的最大大小一样大，虽然理论上企业版内核支持超过64GB内存，但目前最大是16GB。
shmfs是root用户使用下面的命令创建的：
mount -t shm shmfs -o size=3g /dev/shm
通过在/etc/fstab中添加下面一行，共享内存文件系统可以被自动挂载：
shmfs /dev/shm shm size=3g 0 0
在上面的例子中，我创建了一个3G大小的shmfs，也是我计划使用的高速缓存的大小，SGA的其他组件放在常规内存中，而不是这个共享内存文件系统中，因此在考虑shmfs的大小时不要将它们包括进来了，比实际需要的大小要稍微大一点，本例中我使用3G shmfs作为高速缓存。
开启大页面支持
在/boot/grub/grub.conf文件中添加bigpages=xMB到相关的内核条目后来开启大页面支持，这里的x象下面这样计算：
总SGA大小（单位G）*1024
然后围绕这个值取整百，因此一个4G大小的SGA，我们做下面的计算：
4*1024=4096=4100
因此/boot/grub/grub.conf文件条目看起来就是：
kernel /vmlinuz-2.4.9-e.40enterprise ro root=/dev/cciss/c0d0p2 bigpages=4100MB
保存后应该重启系统，然后你必须作为root用户执行下面的命令：
echo 2 > /proc/sys/kernel/shm-use-bigpages
你可以直接在/etc/sysctl.conf文件中添加一行让这个值固定下来：
kernel.shm-use-bigpages = 2
Red Hat企业版Linux（RHEL）3、4和5
挂载ramfs文件系统，并确认它对oracle是可用的
umount /dev/shm
mount -t ramfs ramfs /dev/shm
chown oracle:oinstall /dev/shm
将这些命令添加到/etc/rc.local文件中，和RHEL2.1的方法一样，只有高速缓存存储在这个位置。
因为Oracle会为共享池锁住共享内存，我们必须在/etc/security/limits.conf中调整memlock参数，memlock以Kb为单位进行表示的，因此对于一个2G大小的共享池，我们至少需要（2*1024*1024=2097152），如下所示：
oracle soft memlock 2097152
oracle hard memlock 2097152
实际上，最好稍微比这个数值大一点。
设置SHMMAX值
《对于32位架构，shmmax值应该设置为物理内存的一半，最大值为4294967295》重点，对于一个有6G内存的服务器，我们可以作为root用户使用下面的命令将这个值设为3G（物理内存的一半）：
echo 3221225472 > /proc/sys/kernel/shmmax
另外还可以设置在/etc/sysctl.conf文件中：
kernel.shmmax = 3221225472
你的/etc/sysctl.conf文件看起来应该象下面这样：
kernel.shmmax = 3221225472
kernel.shmmni = 4096
kernel.shmall = 2097152
kernel.sem = 1000 32000 100 150
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
kernel.shm-use-bigpages = 2
修改/etc/sysctl.conf文件后，使用下面的命令应用而无需重新启动系统：
/sbin/sysctl -p
实例参数
必须修改一些实例参数以允许oracle实例使用共享内存文件系统，在处于运行中的实例上可以使用alter system set命令或离线修改spfile文件操作spfile参数，：
-- Change the parameter value in the spfile directly.
ALTER SYSTEM SET parameter = value SCOPE=spfile
-- Create a pfile with the contents of the current spfile.
CREATE PFILE='/tmp/pfile' FROM SPFILE;
-- Manually manipulate the contents of the pfile.
-- Recreate the spfile from the amended pfile.
CREATE SPFILE FROM PFILE='/tmp/pfile';
下面的参数应该被添加到spfile或pfile中：
use_indirect_data_buffers=true
同时，所有涉及到db_cache_size和db_xK_cache的参数都应该被移除，使用旧版本风格的db_blcok_buffers参数条目代替：
# 3Gig for an 8K db_block_size. ((3 * 1024 * 1024) / 8) = 393216
db_block_buffers = 393216
这意味着使用这种方法时多数据块大小特征将不可用，记住高速缓存仅仅是SGA的一部分。
--------------------------------------------------------
6.linux查看与修改交换内存配置（解决zabbix-agent启动报错）
--------------------------------------------------------
问题
zabbix-agent在一台centos6.5上启动报错：centos
cannot allocate shared memory of size 949056: [28] No space left on device
cannot allocate shared memory for collector
检查
# sysctl -a | grep shm
kernel.shmmax = 33554432
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.shmmax 单个共享内存段的最大尺寸，单位byte
kernel.shmall 系统可分配共享内存段的最大值，单位是页
kernel.shmmni 共享内存段的最大数量spa
还能够经过另外一个命令查看：日志
# ipcs -l
------ Shared Memory Limits --------
max number of segments = 4096
max seg size (kbytes) = 32768
max total shared memory (kbytes) = 8388608
max number of segments 对应 kernel.shmmni
max seg size (kbytes) 对应 kernel.shmmax （33554432 / 1024 = 32768）
max total shared memory (kbytes) 对应 kernel.shmall （能够计算出页的大小了：8388608 * 1024 / 2097152 = 4096）code
解决
下面开始分析问题，经过日志能够看到zabbix-agent须要的交换内存大小是949056，远小于kernel.shmmax（33554432），因此该参数没问题；blog
用下面的命令能够查看交换内存的分配状况（为方便展现这里是一台正常运行了zabbix-agent的主机）：ip
# ipcs -m
------ Shared Memory Segments --------
key shmid owner perms bytes nattch status
0x6c0105b0 0 zabbix 600 365056 6
在此基础上，统计下交换内存已经被用了多少（回到问题主机）：内存
# ipcs -m | grep '^0x' | awk '{print $5}' | awk '{sum+=$1}END{print sum}'
1805120
1805120，远小于kernel.shmall（2097152 * 4096） ，因此该参数也没问题；it
到这里已经只剩下一个缘由，数量被占满了：class
# ipcs -m | grep '^0x' | wc -l
4096
这时候能够经过 ipcs -m 看看是哪些程序把数量占满了，如有异常能够选择用 ipcrm 释放，都是正常占用的话就选择提升最大数量（这里提升到两倍）：awk
# sysctl -w kernel.shmmni=8192
若但愿重启系统后依旧有效，把该参数写入配置文件：
# /etc/sysctl.conf
kernel.shmmni = 8192
（另两个参数的修改方式是同样的）
重点：ipcs -l和ipcs -m以及sysctl -a这些命令查看参数配置以及使用情况
--------------------------------------------------------
7.DNS显性URL、隐性URL转发原理
域名管理员显性/隐性URL解析，有些DNS服务商的显性URL记录还可以选择响应状态码(可选302/301)，记录值为目标URL（http://www.heytool.com）
dns提供商将显性/隐性URL记录用（heytool.com），在创建相应的cname记录解析到他们的服务器上（一般控制台上不显式这些对应的cname记录），并且这台服务器上配置了虚拟主机（heytool.com）
服务商服务器上的虚拟主机配置
显性URL跳转：配置302URL重写，或是301URL重写
隐性URL转发：站点里面的index.html面加上iframe，iframe的src值为隐性URL记录的值。在里面嵌套页面，所以不管你怎么点链接，url地址栏都不会变化.除非你的连接是打开新页面
显性URL的本质是，创建了cname记录指向服务商的服务器，此服务器设置了URL重写(跳转)
隐性URL的本质，创建了cname记录指向服务商的服务器，此服务器返回了一个包含iframe的html页面
https://www.cnblogs.com/linkenpark/p/12217934.html
8.Last-Modified、Expires和Etag相关工作原理
------------------------------------------------------------------
1、Last-Modified
在浏览器第一次请求某一个URL时，服务器端的返回状态会是200，内容是你请求的资源，同时有一个Last-Modified的属性标记 (Http Reponse Header)此文件在服务期端最后被修改的时间，格式类似这样：
Last-Modified: Mon, 22 Nov 2010 16:29:24 GMT客户端第二次请求此URL时，根据 HTTP 协议的规定，浏览器会向服务器传送 If-Modified-Since 报头(Http Request Header)，询问该时间之后文件是否有被修改过：
If-Modified-Since: Mon, 22 Nov 2010 16:29:24 GMT如果服务器端的资源没有变化，则自动返回 HTTP 304 （NotChanged.）状态码，内容为空，这样就节省了传输数据量。当服务器端代码发生改变或者重启服务器时，则重新发出资源，返回和第一次请求时类 似。从而保证不向客户端重复发出资源，也保证当服务器有变化时，客户端能够得到最新的资源。
注：如果If-Modified-Since的时间比服务器当前时间(当前的请求时间request_time)还晚，会认为是个非法请求
2、Etag工作原理
HTTP 协议规格说明定义ETag为”被请求变量的实体标记” （参见14.19）。简单点即服务器响应时给请求URL标记，并在HTTP响应头中将其传送到客户端，类似服务器端返回的格式：
Etag: "xok.la-961AA72-4CEA99B4415628″客户端的查询更新格式是这样的：
If-None-Match: "xok.la-961AA72-4CEA99B4415628″如果ETag没改变，则返回状态304。
即:在客户端发出请求 后，Http Reponse Header中包含 Etag: “xok.la-961AA72-4CEA99B4415628″
标识，等于告诉Client端，你拿到的这个的资源有表示 ID：xok.la-961AA72-4CEA99B4415628。当下次需要发Request索要同一个 URI的时候，浏览器同时发出一个If-None-Match报头( Http RequestHeader)此时包头中信息包含上次访问得到的Etag: “xok.la-961AA72-4CEA99B4415628″标识。
If-None-Match: "xok.la-961AA72-4CEA99B4415628",这样，Client端等于Cache了两份，服务器端就会比对2者的etag。如果 If- None-Match为False，不返回200，返回304 (Not Modified) Response。
3、Expires
给出的 日期/时间后，被响应认为是过时。如Expires: Thu, 02 Apr 2009 05:14:08 GMT
需和Last-Modified结合使用。用于控制请求文件的有效时间，当请求数据在有效期内时客 户端浏览器从缓存请求数据而不是服务器端. 当缓存中数据失效或过期，才决定从服务器更新数据。
4、Last-Modified和Expires
Last- Modified标识能够节省一点带宽，但是还是逃不掉发一个HTTP请求出去，而且要和Expires一起用。而Expires标识却使得浏览器干脆连 HTTP请求都不用发，比如当用户F5或者点击Refresh按钮的时候就算对于有Expires的URI，一样也会发一个HTTP请求出去，所 以，Last-Modified还是要用的，而 且要和Expires一起用。
5、 Etag和Expires
如果服务器端同时设置了 Etag和Expires 时，Etag原理同样，即与Last-Modified/Etag对应的HttpRequest Header:If-Modified-Since和If-None-Match。我们可以看到这两个Header的值和WebServer发出的 Last-Modified,Etag值完全一样；在完全匹配If-Modified-Since和If-None-Match即检查完修改时间和 Etag之后，服务器才能返回304.
6、Last-Modified和Etag
Last-Modified 和ETags请求的http报头一起使用，服务器首先产生 Last-Modified/Etag标记，服务器可在稍后使用它来判断页面是否已经被修改，来决定文件是否继续缓存
过程如下:
1. 客户端请求一个页面（A）。
2. 服务器返回页面A，并在给A加上一个Last-Modified/ETag。
3. 客户端展现该页面，并将页面连同Last-Modified/ETag一起缓存。
4. 客户再次请求页面A，并将上次请求时服务器返回的Last-Modified/ETag一起传递给服务器。
5. 服务器检查该Last-Modified或ETag，并判断出该页面自上次客户端请求之后还未被修改，直接返回响应304和一个空的响应体。
注：
1、Last- Modified和Etag头都是由Web Server发出的Http Reponse Header，Web Server应该同时支持这两种头。
2、Web Server发送完Last-Modified/Etag头给客户端后，客户端会缓存这些头；
3、客户端再次发起相同页面的请求时，将分别发送与Last-Modified/Etag对应的Http RequestHeader:If-Modified-Since和If-None-Match。我们可以看到这两个Header的值和 WebServer发出的Last-Modified,Etag值完全一样；
4、 通过上述值到服务器端检查，判断文件是否继续缓存；
--------------------------------------------------------------
9.MySQL 行格式
Compact
Redundant
Dynamic
Compressed
#Compact
Compact 中一条完整的记录可以被分成 '记录的额外信息' 和 '记录的真实数据' 两部分
记录的额外信息
Compact 中记录的额外信息包含三类：变长字段长度列表、NULL 值列表、记录头信息
变长字段长度列表
MySQL 支持一些变长的数据类型 (VARCHAR)，这些数据在存储时不仅要存储数据内容，还需要将占用的字节数存储起来
定长数据类型 (CHAR) 在以一些变长字符集储存数据时，由于储存长度为变长，所以也需要在该列表中存储其长度
在记录的开头部位就是各个变长字段占用的字节数，这些数据逆序存放
如果表中没有变长字段，就没有变长字段长度列表
NULL 值列表
NULL 值列表存储有表中所有 NULL 值，可以节约许多空间
值为 1 时，代表 NULL；值为 0 时，代表非 NULL。当位数不够整数个字节的时候，在高位补 0
所有数据逆序存放
如果表中没有允许储存 NULL 值的列，就没有 NULL 值列表
记录的真实数据
除了一些自定义列的数据外，MySQL 还会为每个记录默认添加一些隐藏列
只有当用户没有指定主键，且表中没有 Unique 键时才会添加 DB_ROW_ID 作为主键
储存数据
当定长数据类型 (CHAR) 没有储存满时，剩下的位都由空格 (0x20) 填满
当使用变成字符集时，由于储存字节长度不一定，当占用字节数少的字符串变为占用字节数多的字符串时需要新开辟一个空间，会产生存储碎片
#Redundant
记录的额外信息
字段长度偏移列表
Redundant 行格式会把该条记录中所有列 (包括隐藏列) 的长度信息都按照逆序存储到 '字段长度偏移列表' 中
储存的值为两个相邻数值的差值
所有数据逆序存放
记录的真实数据
存储数据
不管该列使用的字符集是什么，只要是使用 CHAR 类型，占用的真实数据空间就是该字符集表示一个字符最多需要的字节数和字符串长度
例如使用 utf8 字符集的 CHAR(10) 列占用的真实数据空间始终是 30 个字节
#Dynamic & Compressed
MySQL 8.0 中默认的行格式为 Dymatic
这两个行格式与 Compact 只有在处理行溢出数据 (<- 点击查看) 时有不同：它们不会在记录真实数据处储存真实数据的前 768 个字节，而是把所有的字节都存储到其他页面中，并且只储存其他页面的地址
Compressed 与 Dymatic 不同的一点是它会采用压缩算法对页面进行压缩，以节省空间
10.sql_mode
MySQL5.0以上版本支持三种sql_mode模式：ANSI、TRADITIONAL和STRICT_TRANS_TABLES。
1、ANSI模式：宽松模式，更改语法和行为，使其更符合标准SQL。对插入数据进行校验，如果不符合定义类型或长度，对数据类型调整或截断保存，报warning警告。对于本文开头中提到的错误，可以先把sql_mode设置为ANSI模式，这样便可以插入数据，而对于除数为0的结果的字段值，数据库将会用NULL值代替。
2、TRADITIONAL模式：严格模式，当向mysql数据库插入数据时，进行数据的严格校验，保证错误数据不能插入，报error错误，而不仅仅是警告。用于事物时，会进行事物的回滚。 注释：一旦发现错误立即放弃INSERT/UPDATE。如果你使用非事务存储引擎，这种方式不是你想要的，因为出现错误前进行的数据更改不会“滚动”，结果是更新“只进行了一部分”。
3、STRICT_TRANS_TABLES模式：严格模式，进行数据的严格校验，错误数据不能插入，报error错误。如果不能将给定的值插入到事务表中，则放弃该语句。对于非事务表，如果值出现在单行语句或多行语句的第1行，则放弃该语句。
https://www.jb51.net/article/157929.htm
11.chardet库：识别文件的编码格式
https://www.cnblogs.com/defifind/p/7811606.html
原理为利用第三方库来对比载入内存的文件编码格式，通过第三方库和文件内容的比对，如果大一些的文件，则会采用分块的模式来比对，具体需要具体去了解库的工作原理，这里就不在一一阐述。在三方库（chardet）比对结束后会返回一个置信度，代码层则可以根据这个返回值，进行相应的判断引用对应的编码格式来处理此文件。而此种情况，会引发一些编码的问题，比如一些小语种编码某些字被识别为该编码的置信度比较高，从而导致识别错误，无法利用代码库已知的编码格式去解析。
12.汉字编码及显示原理总结
一·显示过程：
键盘敲击产生> 外码， 转换>机内码， 查找>字库（输出码），显示>屏幕
①外码
汉字输入码（外码）是指用户从键盘上键入汉字时所使用的汉字编码。
例如：
数字编码：区位码；
拼音编码：全拼、双拼、微软拼音输入法、自然码、智能ABC、搜狗等
字形编码：五笔、表形码、郑码输入法等。
②汉字机内码 ：
汉字机内码，又称“汉字ASCII码”，简称“内码”，指计算机内部存储，处理加工和传输汉字时所用的由0和1符号组成的代码。外码到汉字机内码不是直接转换的 如汉字区位码转换位汉字机内码 ：区位码先转换为国标码（GB2312）（其实国标码就是十六进制的区位码） 汉字机内码=国标码＋8080H ;我认为国标码就相当于一种中间码，为什么国标码要加8080H才是汉字机内码呢？这个是为了兼容 ASCII 码而设定的，我们知道 ASCII 码一共有 127 个，也就是从0x00~0x77F[ASCII的最高位都为0]。加上0x80是为了使得每个字节的最高位为1,这样就可以在内存中区分汉字和ASCII了。
③字库（输出码）
字库（输出码）：文字在 屏幕 上面显示，其实也就是在一定范围内显示一些点，不显示一些点，从而构成一个文字显示出来，而我们的字库其实也就是存储这些文字的点阵
数据 。国标码对应的 点阵数据存储的顺序就是按照区位码顺序存储的：所有的国标码汉字及符号组成一个94行94列的二维代码表（字库）。在此方阵中，每一行称为一个"区"，每一列称为一个"位"。这个方阵实际上组成一个有94个区（编号由01到94），每个区有94个位（编号由01到94）的汉字字符集。每个字节分别用两位十进制编码，前
字节的编码称为区码，后字节的编码称为位码，此即区位码，其中，高两位为区号，低两位为位号。这样区位码可以唯一地确定某一汉字或字符；反之，任何一个汉字或符号都对应一个唯一的区位码。（国标码并不等于区位码，它是由区位码稍作转换得到,其转换方法为：先将十进制区码和位码转换为十六进制的区码和位码）
二·其他：
①汉字编码有好多种除了GB2312（国标码），还有GBK，BIG5，UNICODE等，
② 对于国标码原则上，两个字节可以表示 256×256=65536 种不同的符号，作为汉字编码表示的基础是可行的。但考虑到汉字编码与其它国际通用编码，如ASCII 西文字符编码的关系，我国国家标准局采用了加以修正的两字节汉字编码方案，只用了两个字节的低7位。这个方案可以容纳 128×128=16384 种不同的汉字，但为了与标准ASCII码兼容，每个字节中都不能再用32个控制功能码和码值为32的空格以及127的操作码。故每个字节只能有94个编码，所以双七位实际能够表示的字数是：94×94=8836个，为国际字符集编码标准只和ASCII编码兼容。GB2312一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。
③Unicode也是一种字符编码方法，不过它是由国际组织设计，可以容纳全世界所有语言文字的编码方案。
④BIG5是繁体字的编码
13.几种常用编码的介绍
一、基本概念
· GB码
全称是GB2312-80《信息交换用汉字编码字符集 基本集》，1980年发布，是中文信息处理的国家标准，在大陆及海外使用简体中文的地区（如新加坡等）是强制使用的唯一中文编码。P-Windows3.2和苹果OS就是以GB2312为基本汉字编码， Windows 95/98则以GBK为基本汉字编码、但兼容支持GB2312。GB码共收录6763个简体汉字、682个符号，其中汉字部分：一级字3755，以拼音排序，二级字3008，以偏旁排序。该标准的制定和应用为规范、推动中文信息化进程起了很大作用。1990年又制定了繁体字的编码标准GB12345-90《信息交换用汉字编码字符集 第一辅助集》，目的在于规范必须使用繁体字的各种场合，以及古籍整理等。该标准共收录6866个汉字（比GB2312多103个字，其它厂商的字库大多不包括这些字），纯繁体的字大概有2200余个。（2312集与12345集不是相交的。一个是简体，一个是繁体）
· BIG5编
是目前台湾、香港地区普遍使用的一种繁体汉字的编码标准，包括440个符号，一级汉字5401个、二级汉字7652个，共计13060个汉字。Big-5 是一个双字节编码方案，其第一字节的值在 16 进制的 A0～FE 之间，第二字节在 40～7E 和 A1～FE之间。因此，其第一字节的最高位是 1，第二字节的最高位则可能是 1，也可能是 0。
· GBK编码(Chinese Internal Code Specification)
GBK编码（俗称大字符集）是中国大陆制订的、等同于UCS的新的中文编码扩展国家标准。GBK工作小组于1995年10月，同年12月完成GBK规范。该编码标准兼容GB2312，共收录汉字21003个、符号883个，并提供1894个造字码位，简、繁体字融于一库。Windows95/98简体中文版的字库表层编码就采用的是GBK，通过GBK与UCS之间一一对应的码表与底层字库联系。其第一字节的值在 16 进制的 81～FE 之间，第二字节在 40～FE，除去xx7F一线。
· Unicode编码(Universal Multiple Octet Coded Character Set)
国际标准组织于1984年4月成立ISO/IEC JTC1/SC2/WG2工作组，针对各国文字、符号进行统一性编码。1991年美国跨国公司成立Unicode Consortium，并于1991年10月与WG2达成协议，采用同一编码字集。目前Unicode是采用16位编码体系，其字符集内容与ISO10646的BMP（Basic Multilingual Plane）相同。Unicode于1992年6月通过DIS（Draf International Standard），目前版本V2.0于1996公布，内容包含符号6811个，汉字20902个，韩文拼音11172个，造字区6400个，保留20249个，共计65534个。
二、一些注解
在此解释一下我们常见的一些汉字内码转换工具：
1、 最常见的是GB2Big5和Big52GB转换工具。这里的GB指是GB2312集。
2、 GBK简体兼容GB2312字符集及其编码。不规范理解为GB就是GBK简体。
3、 繁体不等同于Big5，在GBK集中也有繁体，GB12345集也有繁体。但这三者的汉字编码方式不同。Windows95/98/NT/2000（简体中）中使用的都是GBK字符集；繁体版使用的是Big5字符集，在简体版中无法正常显示Big5字符，繁体版无法显示GB字符。
4、 在IE中，进入Big5码网站（如：台湾网站），如果安装有Big5字符集支持，IE会将Big5网页转换成GBK繁体显示，没有则是乱码。IE以GBK繁体显示时，在网页中输入的汉字应当是GBK繁体，以Big5码显示时（乱码），要输入Big5码字符（输入乱码？先输入GBK简体----GB码，再使用小工具将其转换成Big5，拷贝，粘贴即可）。
5、 常见的小工具中，可将Big5转换成GBK繁体的不多，可将GBK简体繁体相互转换的也不多。其原因是，他们是将GB2312字符集与Big5字符集建立了对应关系。
三、内码转换原理及方法
内码转换：就是在不同字符集之间建立一种对应关系。
以GBK2Big5（简繁体都可）
如：让字，在GBK中编码是C8C3。如果我们将GBK码表中的字符变成Big5码格式，则C8C3位上的应该是” 让”字的Big5码字符”琵”（琵字不是GBK中的琵，而是”让”字的Big5码汉字在GBK环境中显示结果）。这样我们读出要转换的文字，在GBK（已经转换成Big5格式）码表中找到它的位置，取出该位置上的字符，将原字符替换即可。
14.Windows字符编码详解
-----------------------------------------------------------
1.字节(Byte)是一种计量单位,他是计算机信息技术存储容量的一种单位
2.字符的意义: 字符数计算机文字中使用的文字和符号,比如1,2,3,4,~,@,!,%,^等待
3.在不同编码里字符和字节对应的关系不同
a.在ASCLL码中,一个英文字母(不区分大小写)占一个字节(8bit),一个汉子占两个字节(16bit)
b.UTF-8编码中，一个英文字符等于一个字节，一个中文（含繁体）等于三个字节
c.在Unicode编码中,一个英文两个字节, 一个中文(含繁体)占两个字节
d.英文符号占一个字节,中文符号占两个字节
4.多字符集 : 各国文字编码哟重叠的编码(编码冲突)导致乱码
a.最开始,internet上只有一种字符集------ANS的ASCLL字符集,他用7bits表示一个字符,
总共表示128个字符,包括英文字母,数字,标点符号,之后进行扩展,使用8bits表示一个字符
可以表示256个字符, 再原来的7bits基础上加入了一些特殊字符.
b.后来各国语音的加入,ASCLL已经不能满足需求,各国都在ASCLL的基础上制定了自己的
字符集, 这些从ANSL标准派生的字符集被习惯的称为ANSL字符集
正式名称MBCS(Multi-Byte Chactacter System，即多字节字符系统)，每种语言都有自己的字符集
导致各种字符集实在太多,在国际交流中非常不便, 因此提出了Unicode字符集，
它固定使用16 bits（两个字节、一个字）来表示一个字符,共可以表示65535个字符,将世界上
所有语音常用字符都收录其中,(Unicode标准称为UTF-16),后来为了能使双字节的Unicode
能够在现存的处理单字节系统上正确传输,出现了UTF-8,使用MBCS的方式对Unicode进行编码.
UTF-8是编码,它属于Unicode字符集,
5.Windows定义了一些数据类型
a.wchar_t 就是两个字节 带有W的都是这个类型
b.WCHAR Unicode字符 他其实就是wchar_t
c.PWSTR 指向Unicode字符串的指针 wchar_t *
d.PCWSTR 指向一个常量的Unicode const wchar_t *
e.对应多字节的类型为 CHAR,LPSTR,LPCSTR
f.ASNL/Unicode通用数据类型,
TCAHR 多字符集中为char, Unicode中为wchar_t
PTSTR 多字符集中为char *, Unicode中为wchar_t *
LPCTSTR 多字符集中为const char *, Unicode中为const wchar_t *
f.带有A就是多字符集, W就是Unicode(款字符),T就是通用的
6.Windows中多字符集和Unicode相互转化的API
a.WideCharToMultiByte 映射一个Unicode字符串到多字节字符串
b.MultiByteToWideChar 映射一个多字节字符串到Unicode字符串
-----------------------------------------------------------
15.mongodb查看oplog
https://yq.aliyun.com/articles/423692
16.header中Content-Disposition的作用
------------------------------------------------------------
Content-disposition 是 MIME 协议的扩展，MIME 协议指示 MIME 用户代理如何显示附加的文件。当 Internet Explorer 接收到头时，它会激活文件下载对话框，它的文件名框自动填充了头中指定的文件名。（请注意，这是设计导致的；无法使用此功能将文档保存到用户的计算机上，而不向用户询问保存位置。）
服务端向客户端游览器发送文件时，如果是浏览器支持的文件类型，一般会默认使用浏览器打开，比如txt、jpg等，会直接在浏览器中显示，如果需要提示用户保存，就要利用Content-Disposition进行一下处理，关键在于一定要加上attachment：
Response.AppendHeader("Content-Disposition","attachment;filename=FileName.txt");
备注：这样浏览器会提示保存还是打开，即使选择打开，也会使用相关联的程序比如记事本打开，而不是IE直接打开了。
Content-Disposition就是当用户想把请求所得的内容存为一个文件的时候提供一个默认的文件名。具体的定义如下：
content-disposition = “Content-Disposition” “:”
disposition-type *( “;” disposition-parm )
disposition-type = “attachment” | disp-extension-token
disposition-parm = filename-parm | disp-extension-parm
filename-parm = “filename” “=” quoted-string
disp-extension-token = token
disp-extension-parm = token “=” ( token | quoted-string )
那么由上可知具体的例子：
Content-Disposition: attachment; filename=“filename.xls”
当然filename参数可以包含路径信息，但User-Agnet会忽略掉这些信息，只会把路径信息的最后一部分做为文件名。当你在响应类型为application/octet- stream情况下使用了这个头信息的话，那就意味着你不想直接显示内容，而是弹出一个”文件下载”的对话框，接下来就是由你来决定“打开”还是“保存” 了。
注意事项：
当代码里面使用Content-Disposition来确保浏览器弹出下载对话框的时候。 response.addHeader("Content-Disposition","attachment");一定要确保没有做过关于禁止浏览器缓存的操作。如下：
response.setHeader("Pragma", "No-cache");
response.setHeader("Cache-Control", "No-cache");
response.setDateHeader("Expires", 0);
不然会发现下载功能在opera和firefox里面好好的没问题，在IE下面就是不行，就是找不到文件。
------------------------------------------------------------
17.yum提示Error: rpmdb open failed的解决方案
出错信息：
rpmdb: /var/lib/rpm/__db.003: No such file or directory
error: db3 error(2) from dbenv->open: No such file or directory
Segmentation fault
出错原因：
这多半是因为rpm数据库出现损坏所致，此错误可能导致多数(甚至是所有的)rpm软件的升级、安装甚至是删除都会出现问题。
解决方案:
[root@www~]# cd /var/lib/rpm # rpmdb所在目录
[root@www rpm]# ls | grep ‘db.‘ # 列出相关rpmdb文件
__db.001
__db.002
__db.003
__db.004
[root@www rpm]# for i in $(ls | grep ‘db.‘);do mv $i $i.bak;done
# 将原rpmdb文件都更名为结尾带.bak的文件
或者
[root@www rpm]# rm -f __db.* # 清除原rpmdb文件
[root@www rpm]# rpm --rebuilddb # 重建rpm数据库
[root@www rpm]# yum clean all # 清除所有yum的缓存
18.安装python环境导致的yum无法使用
原因：因为yum命令依赖的也是python库，所以安装python环境导致了依赖关系版本出错。改为对应现在环境的python版本可解决
解决办法：
vim /usr/bin/yum
将头部#!/usr/bin/python改为#!/usr/bin/python2.7
vim /usr/libexec/urlgrabber-ext-down
将#!/usr/bin/python改为#!/usr/bin/python2.7
19.软中断过高的分析
https://blog.csdn.net/yanyangtianzi/article/details/88351691 #通过绑定多个cpu用于处理软中断来降低软中断，这里有不足点，需要排除软中断属于正常现象还是异常情况，需要先做分析，如果正常才通过此种方式均匀分配cpu处理。可借鉴cpu亲和绑定操作（单队列网卡处理方法RPS、配置smp亲和）
https://www.cnblogs.com/poloyy/p/13471979.html #可以参考用于分析软中断异常过程
20.RCU的原理
RCU(Read-Copy Update)，顾名思义就是读-拷贝修改，它是基于其原理命名的。对于被RCU保护的共享数据结构，读者不需要获得任何锁就可以访问它，但写者在访问它时首先拷贝一个副本，然后对副本进行修改，最后使用一个回调（callback）机制在适当的时机把指向原来数据的指针重新指向新的被修改的数据。这个时机就是所有引用该数据的CPU都退出对共享数据的操作。
因此RCU实际上是一种改进的rwlock，读者几乎没有什么同步开销，它不需要锁，不使用原子指令，而且在除alpha的所有架构上也不需要内存栅（Memory Barrier），因此不会导致锁竞争，内存延迟以及流水线停滞。不需要锁也使得使用更容易，因为死锁问题就不需要考虑了。写者的同步开销比较大，它需要延迟数据结构的释放，复制被修改的数据结构，它也必须使用某种锁机制同步并行的其它写者的修改操作。读者必须提供一个信号给写者以便写者能够确定数据可以被安全地释放或修改的时机。有一个专门的垃圾收集器来探测读者的信号，一旦所有的读者都已经发送信号告知它们都不在使用被RCU保护的数据结构，垃圾收集器就调用回调函数完成最后的数据释放或修改操作。 RCU与rwlock的不同之处是：它既允许多个读者同时访问被保护的数据，又允许多个读者和多个写者同时访问被保护的数据（注意：是否可以有多个写者并行访问取决于写者之间使用的同步机制），读者没有任何同步开销，而写者的同步开销则取决于使用的写者间同步机制。但RCU不能替代rwlock，因为如果写比较多时，对读者的性能提高不能弥补写者导致的损失。
读者在访问被RCU保护的共享数据期间不能被阻塞，这是RCU机制得以实现的一个基本前提，也就说当读者在引用被RCU保护的共享数据期间，读者所在的CPU不能发生上下文切换，spinlock和rwlock都需要这样的前提。写者在访问被RCU保护的共享数据时不需要和读者竞争任何锁，只有在有多于一个写者的情况下需要获得某种锁以与其他写者同步。写者修改数据前首先拷贝一个被修改元素的副本，然后在副本上进行修改，修改完毕后它向垃圾回收器注册一个回调函数以便在适当的时机执行真正的修改操作。等待适当时机的这一时期称为grace period，而CPU发生了上下文切换称为经历一个quiescent state，grace period就是所有CPU都经历一次quiescent state所需要的等待的时间。垃圾收集器就是在grace period之后调用写者注册的回调函数来完成真正的数据修改或数据释放操作的。
以下以链表元素删除为例详细说明这一过程。
写者要从链表中删除元素 B，它首先遍历该链表得到指向元素 B 的指针，然后修改元素 B 的前一个元素的 next 指针指向元素 B 的 next 指针指向的元素C，修改元素 B 的 next 指针指向的元素 C 的 prep 指针指向元素 B 的 prep指针指向的元素 A,在这期间可能有读者访问该链表，修改指针指向的操作是原子的，所以不需要同步，而元素 B 的指针并没有去修改，因为读者可能正在使用 B 元素来得到下一个或前一个元素。写者完成这些操作后注册一个回调函数以便在 grace period 之后删除元素 B，然后就认为已经完成删除操作。垃圾收集器在检测到所有的CPU不在引用该链表后，即所有的 CPU 已经经历了 quiescent state,grace period 已经过去后，就调用刚才写者注册的回调函数删除了元素 B。
https://www.ibm.com/developerworks/cn/linux/l-rcu/index.html
21.数据库缓存池buffer pool数据缓存和淘汰原理
https://www.jianshu.com/p/f9ab1cb24230
总结就是，在原来的LRU机制上增加了新老生代的数据的淘汰顺序，以及加入了老生代时间这个概念。解决了热数据的持续缓存而不会被替换掉，以及当大量访问数据时，数据缓存到内存池，导致之前的热点数据被淘汰的问题。（之前的数据才是热数据，现在的数据只不过是临时访问的）
