2008年6月16日
摘要: Nutch是最早用MapReduce的项目 (Hadoop其实原来是Nutch的一部分),Nutch的plugin机制吸取了eclipse的plugin设计思路。在Nutch中 MapReduce编程方式占据了其核心的结构大部分。从插入url列表(Inject),生成抓取列表(Generate),抓取内容(Fetch), 分析处理内容(Parse),更新Crawl DB库(Update ),... 阅读全文
posted @ 2008-06-16 22:41 shawnliu 阅读(776) 评论(0) 推荐(0) 编辑
摘要: 原文链接:Functional Programming For The Rest of Us 原文作者:Vyacheslav Akhmechet 翻译:lihaitao (电邮: lihaitao在gmail.com) 校对:刘凯清 程序员拖沓成性,每天到了办公室后,泡咖啡,检查邮箱,阅读 RSS feed,到技术站点查阅最新的文章,在编程论坛的相关版面浏览公共讨论,并一次次地刷新以免漏掉一... 阅读全文
posted @ 2008-06-16 19:27 shawnliu 阅读(447) 评论(1) 推荐(0) 编辑
摘要: MapReduce 分布是Web应用的必然发展方向,当你的网站用户数量在10万内,你可以不懂什么叫分布,而当你的网站用户数量超过百万数量级,你不可能不懂什么叫做分布。 Google 的使命是整合全球信息,使人人皆可访问并从中受益。所以Google比一般网站更早遭遇了只有分布才能存储的数据,这导致了Google File System的诞生。紧接着他们遇到的问题是怎么才能让公司所有的程... 阅读全文
posted @ 2008-06-16 14:33 shawnliu 阅读(582) 评论(0) 推荐(0) 编辑
摘要: 简介: 本文以我的OpenPoker项目为例介绍另一种构建大规模多人在线系统的方案。OpenPoker是一个大型多人扑克网游,内建支持了容错能力,负载平衡和无限制的规模大小。OpenPoker的源代码遵循GPL协议可以从我的网站下载,大约包含一万行代码,有三分之一是用来测试的。 在Openpoker最终版出台之前,我花了很大精力设计参考,尝试过Delphi, Python, C#,... 阅读全文
posted @ 2008-06-16 02:18 shawnliu 阅读(1536) 评论(1) 推荐(0) 编辑
摘要: 循环复用DNS负载均衡技术 循环DNS(Round-robin DNS)技术是负载平衡最常用的方法之一。最早的负载均衡技术是通过DNS服务中的随机名字解析来实现的。在DNS服务器中... 阅读全文
posted @ 2008-06-16 02:13 shawnliu 阅读(1242) 评论(0) 推荐(0) 编辑
摘要: 一、高可靠性的Erlang,有望取代Java Erlang将成为一个非常重要的语言。它也许就是下一代的Java语言。目前Erlang发展的主要问题就在于没有一个大的公司来支持它,作为它强大的后盾。结果,Erlang被推动成为一个开源的项目。Er... 阅读全文
posted @ 2008-06-16 01:22 shawnliu 阅读(333) 评论(0) 推荐(0) 编辑