随笔分类 - 分布式 负载均衡
摘要：场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索 场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更 久才可以被...
阅读全文
摘要：新浪科技讯 11月16日下午消息，由新浪微博主办的中国首届微博开发者大会在北京举行，这是国内微博行业的首场技术盛宴。作为国内微博市场的绝对领军者，新浪微博将在此次大会上公布一系列针对开发者的扶持政策，以期与第三方开发者联手推动微博行业的整体发展。视频：中国首届微博开发者大会杨卫华演讲媒体来源：新浪科...
阅读全文
摘要：【部署策略】 基于memcached的slab 和dump的内存管理方式，它产生的内存碎片比较少，不需要OS去做繁杂的内存回收，所以它对CPU的占用率那是相当的低。所以建议将它跟占用CPU较高 的WEB服务器一起使用来节省成本。当然如果你有大量的廉价PC，那用来专门做memcached服务器也不错...
阅读全文
摘要：最近在项目中使用了很多缓存技术，包括局部缓存，远程集中式缓存，分布式缓存，在缓存的使用中也发现一些问题，整体总结如下：1 使用局部缓存要注意内存溢出一般局部缓存使用Map来实现，很容易无限制的往Map中填入数据，导致内存溢出。最好的方法就是使用SoftReference引用对象，而不是强引用对象2 ...
阅读全文
摘要：摘要 http://wenku.baidu.com/link?url=eUmpWDGFiFguyQLxwmXwRYmbnW7Wm1Bo79dGoomSnmOPWDIA5-FFSTNRI7MBQq8QGsSGjyR1aFzIqeCe8xXNRZZOfm8LZ5xrck2quS6...
阅读全文
摘要：关于性能优化这是一个比较大的话题，在《由12306.cn谈谈网站性能技术》中我从业务和设计上说过一些可用的技术以及那些技术的优缺点，今天，想从一些技术细节上谈谈性能优化，主要是一些代码级别的技术和方法。本文的东西是我的一些经验和知识，并不一定全对，希望大家指正和补充。在开始这篇文章之前，大家可以移步...
阅读全文
摘要：当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。于是我们不得不对我们的服务器进行扩展，加入更多的机器来分担性能上的问题，以及来解决单点故障问题。 ...
阅读全文
摘要：像Facebook、开心001、人人网、优酷、豆瓣、淘宝等高流量、高并发的网站，单点数据库很难支撑得住，WEB2.0类型的网站中使用MySQL的居多，要么用MySQL自带的MySQL NDB Cluster(MySQL5.0及以上版本支持MySQL NDB Cluster功能)，或者用MySQL自带...
阅读全文
摘要：12306.cn 网站挂了，被全国人民骂了。我这两天也在思考这个事，我想以这个事来粗略地和大家讨论一下网站性能的问题。因为仓促，而且完全基于本人有限的经验和了解， 所以，如果有什么问题还请大家一起讨论和指正。（这又是一篇长文，只讨论性能问题，不讨论那些用户界面、用户体验、或是是否把支付和购票下单环节...
阅读全文
摘要：事务的功能在sqlserver中由来已久，因为最近在做一个数据同步方案，所以有机会再次研究一下它以及快照等，发现还是有很多不错的功能和改进的。这 里以sqlserver2008的事务发布功能为例，对发布订阅的方式简要介绍一下操作流程，一方面做个总结备份，一方面与大家进行一下分享和交流。费话 就不多...
阅读全文
摘要：一 安装配置Nginx ("engine x") 是一款高性能的，轻量级的HTTP Web 服务器 和 反向代理服务器及电子邮件 IMAP/POP3/SMTP 代理服务器。Nginx 是由俄罗斯的程序设计师 Igor Sysoev 所开发，为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已...
阅读全文
摘要：随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。 一、负载均衡技术 负载均衡集群是由一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，...
阅读全文
摘要：大家使用多线程无非是为了提高性能，但如果多线程使用不当，不但性能提升不明显，而且会使得资源消耗更大。下面列举一下可能会造成多线程性能问题的点：死锁过多串行化过多锁竞争切换上下文内存同步下面分别解析以上性能隐患死锁关于死锁，我们在学习操作系统的时候就知道它产生的原因和危害，这里就不从原理上去累述了，可...
阅读全文
摘要：在分布式环境中，处理并发问题就没办法通过操作系统和JVM的工具来解决，那么在分布式环境中，可以采取一下策略和方式来处理：避免并发时间戳串行化数据库行锁统一触发途径避免并发在分布式环境中，如果存在并发问题，那么很难通过技术去解决，或者解决的代价很大，所以我们首先要想想是不是可以通过某些策略和业务设计来...
阅读全文
摘要：1.http://tengine.taobao.org/ Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全...
阅读全文
摘要：转自：http://hi.baidu.com/xingyuanju/blog/item/779a2a23b7ebb749935807f1.htmlhttp://hi.baidu.com/dianhui/blog/item/2f5e6ecb26f5e619bf09e62a.htmlNginx 简介Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。 Igor 将
阅读全文
摘要：网站规模到了一定程度之后，该分的也分了，该优化的也做了优化，但是还是不能满足业务上对性能的要求；这时候我们可以考虑使用主从库。主从库是两台服务器上的两个数据库，主库以最快的速度做增删改操作+最新数据的查询操作；从库负责查询较旧数据，做一些对实效性要求较小的分析，报表生成的工作。这样做将数据库的压力分担到两台服务器上从而保证整个系统响应的及时性。SQL Server提供了复制机制来帮我们实现主从库的机制。我们看下如何在sql server 2005中实践：实践前需要新创建一个Test的数据库，这个库中建一个测试表。1. 打开sql server企业管理器，在对象资源管理器里面选择复制à
阅读全文
摘要：首先说明下memcached存在如下问题 本身没有内置分布式功能，无法实现使用多台Memcache服务器来存储不同的数据，最大程度的使用相同的资源；无法同步数据，容易造成单点故障。（memagent代理实现集群） 在 Memcached中可以保存的item数据量是没有限制的，只要内存足够 。 Memcached单进程最大使用内存为2G，要使用更多内存，可以分多个端口开启多个Memcached进程 最大30天的数据过期时间,设置为永久的也会在这个时间过期，常量REALTIME_MAXDELTA 60*60*24*30控制 最大键长为250字节，大于该长度无法存储，常量KEY_MA...
阅读全文
摘要：最近有些时间，开始接触负载均衡方面的东西，从硬件F5再到Citrix Netscalar。不过因为硬件的配置虽然不复杂，但昂贵的价格也让一般用户望而却步(十几万到几十万)，所以只能转向nginx,squid这类有反向代理功能的软件了。好在其设置都不是很麻烦。 本文就之前所做过的安装和配置步骤做一下总结分享出来，以免日后忘记了。 首先是windows系统，这里建议使用window 2003企业版，而不要作用win7（太新了，我遇到无法启动nginx的问题）。要说的是，在windows下配置安装nginx还是很容易的，少了linux下下载tar再配置编译参数等等步骤，我们只要从下面的地址下载相应的
阅读全文
摘要：Nginx的好处相信我不必多说了，它作为一个相当轻量级的开源Web 服务器以及反向代理服务器而深受欢迎。越来越多的公司已经对它产生兴趣，包括我们公司的许多部门，利用它进行负载均衡和资源管理，之前写过一篇关于利用Nginx进行负载均衡的文章（http://www.cnblogs.com/liping13599168/archive/2011/04/15/2017369.html）。 本篇文章介绍怎样通过Nginx进行反向代理，并运行asp.net网站，测试环境我使用的是Win7系统。首先，需要下载Nginx的安装包：http://nginx.org/en/download.html，这里我下载最
阅读全文