随笔分类 -  Samza

Samza在YARN上的启动过程 =》 之二 submitApplication
摘要：首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass ClientHelper(conf: Configuration) extends Logging { val yarnClient = YarnClient.createYa... 阅读全文
posted @ 2014-05-10 16:25 devos 阅读(1179) 评论(0) 推荐(0)
Samza在YARN上的启动过程 =》 之一
摘要：运行脚本，提交job往YARN提交Samza job要使用run-job.sh这个脚本。samza-example/target/bin/run-job.sh --config-factory=samza.config.factories.PropertiesConfigFactory --conf... 阅读全文
posted @ 2014-05-10 10:08 devos 阅读(1036) 评论(0) 推荐(0)
如何设置Samza的metrics
摘要：参考这个里边对API的调用http://samza.incubator.apache.org/learn/documentation/0.7.0/container/metrics.html参考这里列出的可用配置http://samza.incubator.apache.org/learn/docu... 阅读全文
posted @ 2014-04-28 17:15 devos 阅读(715) 评论(0) 推荐(0)
State Management
摘要：Samza的task可以把数据进行本地存储，并且对这些数据进行丰富的查询。比较SQL中的select ... where...并不需要保存状态。但是aggregation和join就需要存储row之间的状态。Samza提供了一些基本功能，能够使得streaming join和aggregation以... 阅读全文
posted @ 2014-04-26 18:04 devos 阅读(428) 评论(0) 推荐(0)
Samza的ApplicationMaster
摘要：当Samza ApplicationMaster启动时，它做以下的事情：通过STREAMING_CONFIG环境变量从YARN获取配置信息(configuration)在随机端口上 启动一个JMX server实例化一个metrics registry和reporter来追踪计量信息将AM向YARN... 阅读全文
posted @ 2014-04-26 18:01 devos 阅读(702) 评论(0) 推荐(0)
Samza文档翻译 : Comparison Introduction
摘要：http://samza.incubator.apache.org/learn/documentation/0.7.0/comparisons/introduction.html这里有一些使得Samza和其它流处理项目不同的高层设计决策。The Stream Model 流模型流是Samza job... 阅读全文
posted @ 2014-04-06 21:08 devos 阅读(632) 评论(0) 推荐(0)
Samza文档翻译 : Architecture
摘要：http://samza.incubator.apache.org/learn/documentation/0.7.0/introduction/architecture.htmlSamza由三层组成：A streaming layer 消息流层An execution layer 执行层A pro... 阅读全文
posted @ 2014-04-06 15:32 devos 阅读(744) 评论(0) 推荐(0)
Samza文档翻译 : Concepts
摘要：此页介绍啊Samza的一些高层级概念。StreamsSamza处理Streams(流)。流由同一类型的不可变的消息组成。例如，一个流可以是对一个网站的所有点击，或者对一个数据库表的所有更新，或者一个服务产生的所有日志，或者其它类型的消息数据。消息可以被追加到一个流上或者从一个流读出来。一个流可以有任... 阅读全文
posted @ 2014-04-06 09:11 devos 阅读(410) 评论(0) 推荐(0)
Samza文档翻译 : Backgroud
摘要：这一页提供了关于流处理的背景知识，描述什么是Samza，以及它为何而生。what is messaging?什么叫消息？消息系统是用来实现近实时异步计算的一种流行方式。当事件发生时，消息可以被放在消息队列里（ActiveMQ, RabbitMQ），发布-订阅系统(Kestrel, Kafka)里，或... 阅读全文
posted @ 2014-04-06 07:37 devos 阅读(643) 评论(0) 推荐(0)