随笔分类 - 服务器架构
摘要：随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
阅读全文
摘要：简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 例如： 如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。 采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务...
阅读全文
摘要：维基百科的网站架构 http://iamcaihuafeng.blog.sohu.com/111526687.html查看影响web服务器IO负载的因素王宏-大众点评网Web开发之路.pdf http://www.open-open.com/doc/view/b0cd47210aa3495095ed...
阅读全文
摘要：涉及知识点：1，主从复制，读写分离 对主库修改数据，查询使用从库。一主多从，来降低数据库读取压力。2，分库分表 查看详情根据实体业务来分库，分表。如，根据数据的活跃性，根据用户uid等。3，mysql 不同存储引擎区别 查看详情InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合查询应用。一个简单的图例：分库分表：http://blog.sina.com.cn/s/blog_6e322ce70100zs9a.htmlhttp://bbs.csdn.net/topics/340181289http://bbs.csdn.net/topics/390560149?page=1
阅读全文
摘要：目前网站架构一般分成网页缓存层、负载均衡层、 WEB层和数据库层，我其实一般还会多加一层，即文件服务器层，这样我们在后面的讨论过程中，我们可以依次用这五层对网站架构来进行讨论；这里为了更具有 说服力，我将用三个并发较大的生产环境来说明下，一个是我现在维护的电子商务网站（并发最大峰值2900，日PV500万左右）、我目前维护的电子广告网 站（并发最大峰值1500，日PV150万左右）、以前维护的大型CDN门户广告网站（并发最大峰值5000，日PV5000万左右）。网页缓存层首先说下这个网页缓存层，比如CDN租赁（效果比公司自己部署Squid/Varnish要好，他们专业，价格低廉，比如快网/CC
阅读全文
摘要：一：apache 中的 ab格式： ./ab [options] [http://]hostname[:port]/path参数： -n requests Number of requests to perform//在测试会话中所执行的请求个数。默认时，仅执行一个请求 -c concurrency Number of multiple requests to make//一次产生的请求个数。默认是一次一个。 -t timelimit Seconds to max. wait for responses//测试所进行的最大秒数。其内部隐含值是-n 50000。它可以使对服务器的测试限制在一个固
阅读全文
摘要：转于：http://www.cnblogs.com/literoad/archive/2012/12/23/2830178.html面临的问题对于高并发高访问的 Web应用程序来说，数据库存取瓶颈一直是个令人头疼的问题。特别当你的程序架构还是建立在单数据库模式，而一个数据池连接数峰 值已经达到500的时候，那你的程序运行离崩溃的边缘也不远了。很多小网站的开发人员一开始都将注意力放在了产品需求设计上，缺忽视了程序整体性能，可扩 展性等方面的考虑，结果眼看着访问量一天天网上爬，可突然发现有一天网站因为访问量过大而崩溃了，到时候哭都来不及。所以我们一定要未雨绸缪，在数据库还 没罢工前，想方设法给它减
阅读全文
摘要：图片服务通常数据容量较大，而且访问也频繁，鉴于此，图片服务就会有两种问题，一是存储问题，二是访问量问题。 存储问题就是硬 盘容量问题，花钱买硬盘就可以了，看似简单，但着实也是最苦的问题。按目前探索来看，最好的方式是：在任何时刻遇到硬盘空间不够时，买颗硬盘插上，最多改 改配置，就能立刻利用；另外，硬盘要能充分利用，不然图片存储量大再加上备份，很恐怖，最好是每颗硬盘都用上100%的空间。 访问量 也是个大问题，如果服务不允许防盗链，那么访问量会引起带宽、服务器压力等问题，有钱的话直接扔CDN，没钱或者有更多的钱，就自己做吧。根据垣古不变的 真理“越老的图，访问量也相对较少”这一点，分成两大部分..
阅读全文
摘要：1、目前网站图片服务器结构如下：2、现有结构说明2.1 mount目录说明所有前端web服务器都通过nfs挂载3台图片服务器export出来的目录，以接收web服务器PHP进程写入的图片。然后image1挂载另外两台图片服务器的export目录到本地给nginx对外提供访问。2.2 用户上传图片说明用户通过Internet访问页面提交上传请求post到web服务器，web服务器处理完图片后由php拷贝到对应的mount本地目录。2.3 用户访问图片说明用户访问图片时，通过image1这台图片服务器来访问通过2.1里边说明的目录以访问对应目录里边的图片。3、现有结构的问题3.1 现有结构过度依赖
阅读全文
摘要：一、部署独立图片服务器的必要性我们知道，无论对于Apache还是IIS，图片始终是最消耗系统资源的，如果将图片服务和应用服务放在同一个服务器的话，应用服务器很容易会因为 图片的高I/O负载而崩溃，因此对于有些大型网站项目，我们有必要将图片服务器和应用服务器分离。部署独立的图片服务器（甚至是服务器集群）是大型网站图 片存储解决方案中最基础的，因为有了独立的图片服务器后，我们才能对图片服务器做更有针对性的性能优化，比如从硬件角度说，图片服务器可以配置高端的硬 盘，7200转的换成15000转的，而CPU却只要一般就可以了；从软件角度说，可以为图片服务器配置特殊的文件系统来满足对图片的I/O请求，如
阅读全文
