[转]高负载高并发应用 参考资料索引
1．Linux 集群
http://www.ibm.com/developerworks/cn/linux/theme/cluster.html
2．Linux 集群大全 -- 哪种群集适合您？
http://www.ibm.com/developerworks/cn/linux/cluster/lw-clustering.html
3．基于 linux 的集群系统
* 基于 linux 的集群系统，第 1 部分：集群系统概述
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part1/
* 基于 linux 的集群系统，第 2 部分：典型集群系统介绍之一
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part2/index.html
* 基于 linux 的集群系统，第 3 部分：典型集群系统介绍之二
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part3/index.html
* 基于 linux 的集群系统，第 4 部分：典型系统小结及评测标准
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part4/index.html
* 基于 linux 的集群系统，第 5 部分：关键技术分析之 进程的放置和迁移
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part5/index.html
* 基于 linux 的集群系统，第 6 部分：关键技术分析之 高可用性
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part6/index.html
* 基于 linux 的集群系统，第 7 部分：关键技术分析之文件系统
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part7/index.html
* 基于 linux 的集群系统，第 8 部分：实现过程之理论先导篇(1)
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part8/index.html
* 基于 linux 的集群系统，第 9 部分：实现过程之理论先导篇(2)
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part9/index.html
* 基于 linux 的集群系统，第 10 部分：实现过程之理论先导篇(3)
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part10/index.html
* 基于 linux 的集群系统，第 11 部分：Linux集群系统的实现（上）
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part11/index1.html
* 基于 linux 的集群系统，第 12 部分：Linux集群系统的实现（下）
http://www.ibm.com/developerworks/cn/linux/cluster/linux_cluster/part11/index2.html
4.Linux 集群系统大比拼
http://www.linuxeden.com/html/solution/20010806/19967.html
5.如何架构高性价比的分布式计算机集群
http://os.51cto.com/art/200512/15042.htm
6.专题：负载均衡技术基础专题
http://sysapp.51cto.com/art/200702/39422.htm
http://os.51cto.com/art/200512/15073.htm
7．Linux 高性能计算集群
* Linux 高性能计算集群，第 1 部分：概述
http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part1/index.html
* Linux 高性能计算集群，第 2 部分：Beowulf 集群
http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part2/index.html
* Linux 高性能计算集群，第 3 部分：硬件和网络体系结构
http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part3/index.html
* Linux 高性能计算集群，第 4 部分：软件体系结构
http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part4/index.html
* Linux 高性能计算集群，第 5 部分：资源管理和系统管理
http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part5/index.html
8．集群系统 MOSIX 分析
* 集群系统 MOSIX 分析，第 1 部分：集群技术和进程迁移简介
http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part1/index.html
* 集群系统 MOSIX 分析，第 2 部分： MOSIX 系统简介
http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part2/index.html
* 集群系统 MOSIX 分析，第 3 部分： MOSIX 代理远程机制
http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part3/index.html
* 集群系统 MOSIX 分析，第 4 部分： MOSIX 连接层
http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part4/index.html
* 集群系统 MOSIX 分析，第 5 部分： MOSIX 进程迁移机制
http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part5/index.html
* 集群系统 MOSIX 分析，第 6 部分： MOSIX 对系统调用的处理
http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part6/index.html
* 集群系统 MOSIX 分析，第 7 部分： MOSIX 对信号机制的处理
http://www.ibm.com/developerworks/cn/linux/cluster/mosix/part7/index.html
* 使用 Mosix 的 Linux 集群
http://www.ibm.com/developerworks/cn/views/linux/tutorials.jsp?cv_doc_id=84921
openmosix
1.[原创]架设基于Fedora的openmosix集群
http://linux.chinaunix.net/bbs/viewthread.php?tid=216438
2. 建立开放的高性能集群--OpenMOSIX集群的优势
http://www.wosowoso.com/f/it/2007/9/079272115434519.html
3.openMosix Project.
http://openmosix.sourceforge.net/
<!--[if !supportLists]-->1.1.3. < !--[endif]-->IBM Linux集群方案
如何构建基于 IBM® System x®(TM)和 IBM® TotalStorage® systems 的 Linux® 集群
* 安装大型 Linux 集群，第 1 部分： 简介和硬件配置
http://www.ibm.com/developerworks/cn/linux/es-linuxclusterintro/index.html
* 安装大型 Linux 集群，第 2 部分： 配置管理服务器和安装节点
http://www.ibm.com/developerworks/cn/linux/es-clusterseriespt2/index.html
* 安装大型 Linux 集群，第 3 部分： 存储和共享文件系统
http://www.ibm.com/developerworks/cn/linux/es-clusterseriespt3/index.html
* 安装大型 Linux 集群，第 4 部分： 节点安装和 GPFS 集群配置
http://www.ibm.com/developerworks/cn/linux/es-clusterseriespt4/index.html
LVS
1. Linux服务器集群系统(一) -- LVS项目介绍
http://www.linuxvirtualserver.org/zh/lvs1.html
2. Linux服务器集群系统（二） -- LVS集群的体系结构
http://www.linuxvirtualserver.org/zh/lvs2.html
3. Linux服务器集群系统(三)--LVS集群中的IP负载均衡技术
http://www.linuxvirtualserver.org/zh/lvs3.html
4. Linux服务器集群系统(四) -- LVS集群的负载调度
http://www.linuxvirtualserver.org/zh/lvs4.html
5.用LVS构架负载均衡Linux集群系统
http://leftleg.hzpub.com/post/614_1_1.htm
6.架构 LVS 系统相关软件介绍
http://leftleg.hzpub.com/post/615.htm
7.linux lvs 的DR 模式CENTOS 4.4 三台linux 的http负载均衡安装步骤
http://leftleg.hzpub.com/post/612.htm
8.LVS配置学习笔记
https://forum.eviloctal.com/read.php?tid=19544
9.LVS集群学习笔记（NAT\DR\IP tunnel）详解
http://tech.ddvip.com/2007-07/118426264629306.html
10.LVS ipvsadm命令参考
http://www.linuxdby.com/html/test/20070411/470.html
Beowulf
Linux High Availability
普通两节点双机热备，多节点HA集群，RAC, shared, share-nothing集群等
Freebsd Cluster
1.LAM/MPI CLuster System With FreeBSD 5.3
http://www.3800hk.com/Article/os/FreeBSD/yyjsbsd/2006-09-06/Article_118085.html
2.Building a High-performance Computing Cluster Using FreeBSD
http://people.freebsd.org/~brooks/papers/bsdcon2003/fbsdcluster/
3.使用FreeBSD构建HPC群集
http://bbs.chinaunix.net/thread-974921-1-1.html
GFS
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.
GFS 的入门必读
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.
以下为入门必看
- GFS 的介绍 http://www.redhat.com/solutions/gfs/
- RedHat杂志关于GFS的最佳实践 http://www.redhat.com/magazine/009jul05/features/gfs_practices/
- RedHat杂志关于GFS和以太网和SAN光纤存储网的介绍 http://www.redhat.com/magazine/008jun05/features/gfs/
- RedHat杂志关于企业如何用GFS来存储数据的介绍http://www.redhat.com/magazine/009jul05/features/gfs_overview/
- RedHat杂志关于用GFS来做数据共享的介绍http://www.redhat.com/magazine/006apr05/features/gfs/
- RedHat杂志关于RHCS集群的介绍http://www.redhat.com/magazine/009jul05/features/cluster/
- RedHat 官方的GFS 概述文档 http://www.redhat.com/whitepapers/rha/gfs/GFS_INS0032US.pdf
- RedHat 关于GFS扩展性的介绍 http://www.redhat.com/solutions/scaleout/
- RedHat和HP提供的 HP MC/SG + GFS的方案介绍 http://www.redhat.com/promo/hp_serviceguard/ (注意右侧的多个连接所指向的文档)
- GFS 6.1U3版本的Release notes http://www.redhat.com/docs/manua ... HEL4U3-relnotes.txt
- GFS 6.1U2版本的Release notes http://www.redhat.com/docs/manua ... HEL4U2-relnotes.txt
- GFS 6.1的Release notes http://www.redhat.com/docs/manua ... FS_6_1-relnotes.txt
- GFS 6.1的Admin Guide http://www.redhat.com/docs/manuals/csgfs/browse/rh-gfs-en/
- 本版 suran007 同学提供的 "GFS6.1 ON RHAS4 U2安装文档" http://bbs.chinaunix.net/viewthr ... & extra=page%3D1
- 本版 发起的"关于多台web服务器挂载GFS系统" 的讨论 http://bbs.chinaunix.net/viewthr ... 4&highlight=GFS
- LinuxVirtualServer 站点上网友hosyp 2006-02-15 发表的 "集群LVS+GFS+ISCSI+TOMCAT" http://zh.linuxvirtualserver.org/node/100
- RedHat杂志关于企业如何用GFS来存储数据的介绍06年8月更新版http://www.redhat.com/magazine/021jul06/features/gfs_update/
- gb8007同学发起的关于安装GFS过程中kernel版本和GFS版本的冲突问题http://bbs.chinaunix.net/viewthr ... & extra=page%3D1
- jeepmac同学发起的关于"自己规划了一个GFS＋iSCSI集群方案" http://bbs.chinaunix.net/viewthr ... & extra=page%3D1
- 重点推荐, RedHat GFS 综合介绍Web 录像 http://www.redhat.com/f/swf/gfs/
- zhangning_1999同学贡献的"用VMWARE安装配置GFS（使用DLM方法）" 原创http://bbs.chinaunix.net/viewthr ... & extra=page%3D1
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.
GFS 软件介绍
- RedHat GFS 的版权许可介绍
* RedHat GFS 是一个遵守GPL 开放源代码的集群文件系统
* RedHat出售GFS软件及收费的技术服务
* 用户可以选择购从RedHat购买包含技术支持服务的GFS软件
* 也可以直接从RedHat官方的服务器上下载rpm格式的源代码包，修改并自由使用(见下面连接)
* 可以直接从RedHat CVS服务器 checkout GFS源代码(普通source file+directory).
* 用户也可以通过centOS组织提供的服务器，下载已经编译成二进制可运行的GFS或源代码(见下面连接)
- RedHat 官方提供的 GFS软件的下载 ftp://ftp.redhat.com/pub/redhat/linux/enterprise/4/en/RHGFS
- CentOS 组织提供的 GFS软件的下载 v4 6.1 http://mirror.centos.org/centos/4/csgfs/
- CentOS 组织提供的 GFS软件的下载 v3 6.0 http://mirror.centos.org/centos/3/csgfs/
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.
GFS 进阶应用
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.
- RedHat杂志关于GFS和NFS性能和扩展性比较的介绍http://www.redhat.com/magazine/008jun05/features/gfs_nfs/
- RedHat杂志关于GFS支持Oracle RAC集群的介绍http://www.redhat.com/magazine/009jul05/features/gfs_oracle/
- Google 可以使用的搜索关键字举例 "RedHat GFS Global file system filetype:pdf"
- RedHat官方GFS 知识库 http://kbase.redhat.com/faq/topten_78_0.shtm
- RedHat 2006年峰会的GFS和集群相关的演讲稿 http://www.redhat.com/promo/summit/presentations/cns.htm
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.
GFS 讨论社区
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文使用,转载,修改,和再发布.
- RedHat 官方的邮件列表 https://www.redhat.com/mailman/listinfo/linux-cluster
- 本版 http://bbs.chinaunix.net/forumdisplay.php?fid=74&page=1
本文作者:ChinaUnix ID: nntp Email: joe at linuxtea.org 未经作者允许不得对本文
网络I/O
epoll
1. linux 2.6内核epoll用法举例说明
http://blog.csdn.net/hwz119/archive/2007/06/07/1643132.aspx
2.linux 2.6内核epoll用法举例说明(续)
http://blog.csdn.net/hwz119/archive/2007/06/07/1643134.aspx
3.Linux 2.6内核中提高网络I/O性能的新方法epoll
http://blog.csdn.net/hwz119/archive/2007/06/07/1643125.aspx
4.Linux2.6内核epoll 网络编程
http://blog.csdn.net/legion8169/archive/2007/06/04/1637309.aspx
5.EPOLL为我们带来了什么
http://blog.csdn.net/legion8169/archive/2007/06/04/1637154.aspx
6.epoll实现的net_echo程序
http://blog.csdn.net/zoufeiyy/archive/2007/09/10/1779214.aspx
7.epoll简介
http://blog.csdn.net/tomh520/archive/2007/08/28/1761827.aspx
8.epoll精髓
http://blog.csdn.net/wwsoon/archive/2007/08/24/1758029.aspx
9.epoll 相对于poll的优点
http://blog.csdn.net/wwsoon/archive/2007/08/24/1758024.aspx
10.Linux网络编程一步一步学-epoll同时处理海量连接的代码
http://blog.csdn.net/blade2001/archive/2007/06/10/1646563.aspx
11.epoll原理及使用方法
http://blog.csdn.net/blade2001/archive/2007/06/10/1646553.aspx
12.Improving (network) I/O performance
http://www.xmailserver.org/linux-patches/nio-improve.html
13.The C10K problem
http://www.kegel.com/c10k.html
14.epoll模型的使用及其描述符耗尽问题的探讨
http://www.chinaunix.net/jh/23/813588.html
15.线程池 + epoll 简单的实现
http://www.chinaunix.net/jh/23/937379.html
kqueue
1. FreeBSD系统编程--kqueue
http://www.chinaunix.net/jh/89/699989.html
(6.4 kqueue)
2. Kqueue: A generic and scalable event notification facility
http://portal.acm.org/citation.cfm?id=715764
http://people.freebsd.org/~jlemon/papers/kqueue.pdf
3. kqueue man page
http://www.hmug.org/man/2/kqueue.php
<!--[if !supportLists]-->2.3. <!--[endif]-->Event Completion
solaris
http://developers.sun.com/solaris/articles/event_completion.html
内存池
Apache内存池内幕(1)
http://blog.csdn.net/tingya/archive/2005/12/08/547322.aspx
Apache内存池内幕(2)
http://blog.csdn.net/tingya/archive/2005/12/19/556416.aspx
Apache内存池内幕(3)
http://blog.csdn.net/tingya/archive/2005/12/23/559815.aspx
内核内存池管理技术实现分析
http://blog.csdn.net/wzbob/articles/1328526.aspx
[代码]内存池操作的模板类
http://dev.csdn.net/article/68303.shtm
young library 的轻量级内存池设计与实现
http://bbs.zdnet.com.cn/thread-97416-1-1.html
自定义内存池性能优化的原理
http://www.chineselinuxuniversity.net/articles/7761.shtml
<!--[if !supportLists]-->4. <!--[endif]-->mmo 服务器
网易“云峰”
1.我写的MMORPG服务器端的设计
http://blog.csdn.net/yahle/archive/2005/01/12/250034.aspx
2.游戏服务器组间的通讯
http://blog.codingnow.com/2007/07/server_communication.html#comments
3.游戏服务器内的组播
http://blog.codingnow.com/2007/03/multicast.html#comments
4.游戏服务器处理多个连接入口的方案
http://blog.codingnow.com/2007/03/multi_entry.html#comments
5.多服务器的用户身份认证方案
http://blog.codingnow.com/2007/02/user_authenticate.html#comments
6.利用 Cache 减少传输的数据量
http://blog.codingnow.com/2006/03/auoa_cache_oeueaeaeea.html#comments
7.模型顶点数据的压缩
http://blog.codingnow.com/2007/07/mesh_compress.html#comments
8.数据服务器的设计
http://blog.codingnow.com/2006/10/data_server_design.html#comments
9.多进程的游戏服务器设计
http://blog.codingnow.com/2006/10/multi_process_design.html#comments
10.服务器消息的广播
http://blog.codingnow.com/2006/10/aoi.html#comments
11.心跳服务器
http://blog.codingnow.com/2006/09/heartbeat_server.html#comments
12.目前我们的游戏服务器逻辑层设计草案
http://blog.codingnow.com/2006/09/rpc.html#comments
13.IOCP , kqueue , epoll ... 有多重要？
http://blog.codingnow.com/2006/04/iocp_kqueue_epoll.html#comments
<!--[if !supportLists]-->4.2. < !--[endif]-->其它
14.游戏服务器技术交流
http://bbs.gameres.com/showthread.asp?threadid=93775
15.MMORPG游戏服务器端的设计
http://games.enet.com.cn/article/A17020050831001_0.html
16.大型在线系统实现的关键(上篇)（再谈QQ游戏百万人在线的技术实现）
http://www.cnblogs.com/chinhr/archive/2007/10/09/918338.html
17.大型在线系统实现的关键(下篇)（服务器集群架构的设计与选择）
http://www.cnblogs.com/chinhr/archive/2007/10/09/918342.html
18.今天改了架构设计
http://tsrmtrue.blog.163.com/blog/static/3188399200763183752184/
经典讨论贴
1. 关于分布式系统共享session数据的方式的问题
http://groups.google.com/group/dev4server/browse_thread/thread/22b9bc5fe38ef6d9?hl=zh-CN
2. 讨论内存池（有没有存在的理由）
http://groups.google.com/group/dev4server/browse_thread/thread/75ee82f7845c8a01?hl=zh-CN
3. "大厅服务器"和"分区服务器"该怎么设计？
http://groups.google.com/group/dev4server/browse_thread/thread/8d1ca0cf8a041389?hl=zh-CN
4. 网游能够通过扩展服务器集群从而支持无限制的用户吗？
http://groups.google.com/group/dev4server/browse_thread/thread/77e57e1e8432e919?hl=zh-CN
5. 关于"登陆服务器"的架构设计
http://groups.google.com/group/dev4server/browse_thread/thread/a74d0467dbcd385c?hl=zh-CN
6. IM 软件的在线列表通常是存放在什么地方的呢？
http://groups.google.com/group/dev4server/browse_thread/thread/530f40855db9f064?hl=zh-CN
7.Introduction to Parallel Programming and MapReduce
http://code.google.com/edu/parallel/mapreduce-tutorial.html
8. 内存数据库？
9.请问大家一个关于海量数据库的存储问题
10. 关于大型MMO应用中的场景系统动态负载均衡问题
11. About MMORPG的逻辑层构架
12. 一个关于赛马游戏的服务器构架
软件架构
1、软件框架
高性能的软件框架，一般都基于event-driven、异步模式，同时提供诸如线程池、epoll（*unx）IOCP（I/O Completion Port，windows）等技术来提高并发处理性能，python、C++、Java中有一个典型的框架性项目提供了对高性能网络通信框架的支持，常用的一些高性能的软件框架如下：
Python相关：
twisted:http://twistedmatrix.com
Twisted, an event-driven networking framework written in Python and licensed under the LGPL. Twisted supports TCP, UDP, SSL/TLS, multicast, Unix sockets, a large number of protocols (including HTTP, NNTP, SSH, IRC, FTP, and others), and much more.
Twisted是我学习和使用python的动力之一，用于高性能网络编程还是很方便。好好研究一番。
C++相关：
ACE：http://www.cs.wustl.edu/~schmidt/ACE.html
ICE:http://www.zeroc.com/ice.html
ACE去年做p2p“边下边看”软件时候用过一阵，框架是很优美，功能也比较全面，但是代码极其凌乱，用起来出问题后解决很麻烦。
Java相关：
MINA：http://mina.apache.org/
Grizzly：https://grizzly.dev.java.net/
QuickServer: http://www.quickserver.org/
2、相关站点
http://highscalability.com
http://www.royans.net
http://developer.yahoo.com/performance/rules.html yahoo关于website性能的站点（Firebug 及yslow的相关资料）
http://www.productionscale.com/
http://www.performanceengineer.com
http://www.webperformancematters.com/
http://www.javaperformancetuning.com/
http://www.allthingsdistributed.com/ amazon CTO的blog
3、相关文章
http://www.kegel.com/c10k.html
http://pl.atyp.us/content/tech/servers.html
http://poorbuthappy.com/ease/archives/2007/04/29/3616/the-top-10-presentation-on-scaling-websites-twitter-flickr-bloglines-vox-and-more
http://www.royans.net/arch/library/
http://freescienceonline.blogspot.com/2007/08/scalability-and-scalable-architecture.html
http://www.webperformance.org/caching/caching_for_performance.html
转自：http://blog.csdn.net/kk520_blog/archive/2010/04/30/5544348.aspx
