实时系统中的两个概念:实时更新和秒级延迟

摘要: 实时系统中有两个非常重要概念:实时更新、秒级延迟。 一个决定系统属性,另一个则衡量系统性能。实时更新这个指标决定了系统的实效属性。 系统对于数据请求,即时计算得到结果并返回。 区别于离线预算(如日表,周表,月表等固定周期计算。在周期内,结果恒定,与数据请求时间无关) 即时计算又分两种方式:(即来即算型)存储明细数据,当请求到来时,即时计算将结果返回。(即来即取型)随数据更新,不断计算中间结果并保存,当请求到来时,即时取中间结果返回。两种方式各有利弊,需要根据产品特性及环境酌情选择或混用。秒级延迟“延迟” 这个指标衡量了系统的性能高低。(现在比较优秀的产品应该已经到达秒级为单位)在流系统中该指标 阅读全文
posted @ 2012-02-03 18:11 panzh 阅读(960) 评论(0) 推荐(0) 编辑

【量子直播室】实时流系统在电商分析产品中的应用

摘要: 量子直播室是什么?量子直播室 是量子恒道基于店铺实时流量数据,经过过滤、转换和组合等数据分析过程后,向淘宝卖家提供的即时数据服务类产品。直播室产品的特点是什么?实时更新 (实时流系统中的两个概念:实时更新和秒级延迟)秒级延迟(<5秒)数据功能化带给淘宝卖家什么帮助?实时掌握店铺经营状况实况数据控制台实时多维挖掘流量波动预警...快速进行店铺经营优化即时广告投放优化店铺流量引导...辅助店铺在线客户服务顾客喜好分析顾客价值分析....技术相关框架及系统?SM(SuperMario) 量子恒道开发的分布式流数据处理框架。具有高可扩展性、高可用性、低维护成本等特点。Hbase(分布式存储系统) 阅读全文
posted @ 2012-02-03 18:10 panzh 阅读(710) 评论(0) 推荐(0) 编辑

Beanstalk Protocol 摘记

摘要: 协议概况beanstalk protocol 是建立在TCP之上的应用层协议。协议采用ASCII编码针对每一个连接,服务端按照接收指令的次序处理和发送响应。协议中所有整型都已十进制小数表示(除非另作说明),并且非负数协议中的名称都是ASICC字符串,由 a-zA-Z0-9-+/;.$_() 组成,但是不能以减号开头,以空字符或者换行结束,每个名称至少一个字符。协议包含两种数据行文本,被用作:客户端指令服务端响应非结构化数据块,被用作:传递job体(一段字节序列)传递统计信息服务端不对job体做任何检查或修改,总会按其原有格式返回客户端负责解析job体当结束连接时客户端发送“quit”指令,或者 阅读全文
posted @ 2012-01-31 19:41 panzh 阅读(833) 评论(0) 推荐(1) 编辑