摘要:
使用storm可以方便的构建一种集群式的数据框架,并通过定义topo来实现业务逻辑。
但使用topo存在一个缺点, topo的处理能力来自于其启动时设置的worker数目,在很多情况下,我们需要能够根据业务压力来调整集群的处理能力,这时候单一的topo就无法解决这个问题了。
为了能够更加灵活的定义处理能力,可以考虑将原有的topo根据业务域进行拆分,做到互不干扰,灵活控制,而且为了能够更加经济的利用处理资源,可以考虑引入worker资源池的概念,达到对资源的充分利用。 阅读全文
摘要:
引子这几天为了优化原有的数据处理框架,比较系统的学习了storm的一些内容,整理一下心得1. storm提供的是一种数据处理思想,它不提供具体的解决方案 storm的核心是topo的定义,而topo承载着所有的业务逻辑,我们基于storm的topo的组织方案,来编排私有的业务实现逻辑。 stor... 阅读全文
摘要:
主要内容翻译自storm官方网站 阅读全文
摘要:
Java RMI 服务器框架 :http://www.ibm.com/developerworks/cn/java/j-rmiframe/使用RMI+Zookeepr实现远程调用框架http://www.open-open.com/lib/view/open1416097626352.html 阅读全文
摘要:
this is a thub hereSpring的Remoting框架阿里巴巴的dubbo框架RPC,RMI,JMS,Webservice的区别 阅读全文
摘要:
其实职责链在老早就使用过了,以前在HW给Vodafone做金融项目的时候,使用职责链完成交易步骤,那时觉得这东西真好用,可以直接通过配置决定业务流程,现在终于有机会实践一下。 项目地址:http://commons.apache.org/proper/commons-chain/ 这种设计... 阅读全文
摘要:
享元模式是结构型模式的一种,其主要思想是运用共享技术支持大量的细粒度对象。 如GOF中提供的例子,文本编辑器中的文字在排版时如果将每个字符看做一个对象,那么一篇不长的文章中也可能包含大量的细粒度对象,占用资源,产生大量的运行时开销。 Flyweight模式解决了这个问题,它通过将字符的内在特... 阅读全文
摘要:
Template Method(模板方法)1. 意图定义一个操作中算法的骨架,将一些 步骤延迟到子类中,Template Method使得子类可以不改变一个算法的结构即可重定义该算法的某些步骤。2. 动机考虑一个提供Application和Document类的应用框架。Application类负责打... 阅读全文
摘要:
UML中类与类,已经类与接口,接口与接口的关系有:泛化(generalization),关联(association),依赖(dependency),实现(realization)这几种。泛化(generalization)关系时指一个类(子类、子接口)继承另外一个类(称为父类、父接口)的功能,并可... 阅读全文
摘要:
当硬件处理能力不能按照摩尔定律垂直发展的时候,选择了水平发展,多核处理器已经广泛应用。未来随着技术的进一步发展,可能出现成百上千个处理核心,但现有的程序运行在多核心处理器上并不能得到较大性能的提升,主要的瓶颈在于程序本身的并发处理能力不强,不能够合理的利用多核心资源。现有的处理方案是从软件入手,试图... 阅读全文