摘要: 使用storm可以方便的构建一种集群式的数据框架,并通过定义topo来实现业务逻辑。 但使用topo存在一个缺点, topo的处理能力来自于其启动时设置的worker数目,在很多情况下,我们需要能够根据业务压力来调整集群的处理能力,这时候单一的topo就无法解决这个问题了。 为了能够更加灵活的定义处理能力,可以考虑将原有的topo根据业务域进行拆分,做到互不干扰,灵活控制,而且为了能够更加经济的利用处理资源,可以考虑引入worker资源池的概念,达到对资源的充分利用。 阅读全文
posted @ 2015-07-24 11:27 纪玉奇 阅读(1690) 评论(4) 推荐(1) 编辑
摘要: 引子这几天为了优化原有的数据处理框架,比较系统的学习了storm的一些内容,整理一下心得1. storm提供的是一种数据处理思想,它不提供具体的解决方案 storm的核心是topo的定义,而topo承载着所有的业务逻辑,我们基于storm的topo的组织方案,来编排私有的业务实现逻辑。 stor... 阅读全文
posted @ 2015-07-21 20:52 纪玉奇 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 主要内容翻译自storm官方网站 阅读全文
posted @ 2015-07-21 20:21 纪玉奇 阅读(1908) 评论(1) 推荐(1) 编辑
摘要: Java RMI 服务器框架 :http://www.ibm.com/developerworks/cn/java/j-rmiframe/使用RMI+Zookeepr实现远程调用框架http://www.open-open.com/lib/view/open1416097626352.html 阅读全文
posted @ 2015-07-01 15:17 纪玉奇 阅读(160) 评论(0) 推荐(0) 编辑
摘要: this is a thub hereSpring的Remoting框架阿里巴巴的dubbo框架RPC,RMI,JMS,Webservice的区别 阅读全文
posted @ 2015-06-19 17:35 纪玉奇 阅读(274) 评论(0) 推荐(0) 编辑
摘要: 其实职责链在老早就使用过了,以前在HW给Vodafone做金融项目的时候,使用职责链完成交易步骤,那时觉得这东西真好用,可以直接通过配置决定业务流程,现在终于有机会实践一下。 项目地址:http://commons.apache.org/proper/commons-chain/ 这种设计... 阅读全文
posted @ 2015-06-19 17:34 纪玉奇 阅读(2928) 评论(0) 推荐(0) 编辑
摘要: 享元模式是结构型模式的一种,其主要思想是运用共享技术支持大量的细粒度对象。 如GOF中提供的例子,文本编辑器中的文字在排版时如果将每个字符看做一个对象,那么一篇不长的文章中也可能包含大量的细粒度对象,占用资源,产生大量的运行时开销。 Flyweight模式解决了这个问题,它通过将字符的内在特... 阅读全文
posted @ 2015-06-17 09:37 纪玉奇 阅读(276) 评论(0) 推荐(0) 编辑
摘要: Template Method(模板方法)1. 意图定义一个操作中算法的骨架,将一些 步骤延迟到子类中,Template Method使得子类可以不改变一个算法的结构即可重定义该算法的某些步骤。2. 动机考虑一个提供Application和Document类的应用框架。Application类负责打... 阅读全文
posted @ 2015-06-12 15:19 纪玉奇 阅读(406) 评论(0) 推荐(0) 编辑
摘要: UML中类与类,已经类与接口,接口与接口的关系有:泛化(generalization),关联(association),依赖(dependency),实现(realization)这几种。泛化(generalization)关系时指一个类(子类、子接口)继承另外一个类(称为父类、父接口)的功能,并可... 阅读全文
posted @ 2015-06-12 13:58 纪玉奇 阅读(69202) 评论(3) 推荐(7) 编辑
摘要: 当硬件处理能力不能按照摩尔定律垂直发展的时候,选择了水平发展,多核处理器已经广泛应用。未来随着技术的进一步发展,可能出现成百上千个处理核心,但现有的程序运行在多核心处理器上并不能得到较大性能的提升,主要的瓶颈在于程序本身的并发处理能力不强,不能够合理的利用多核心资源。现有的处理方案是从软件入手,试图... 阅读全文
posted @ 2015-06-02 17:28 纪玉奇 阅读(32394) 评论(6) 推荐(2) 编辑