一种实时多维数据的分析及同步系统
摘要：多维分析技术是一种被广泛应用的数据分析技术，本人在实际项目中使用开源OLAP框架Mondrian及关系型数据库MySQL，尝试设计并实现了一套多维数据的分析及同步系统，以解决现有技术对于互联网上实时流动变化数据无法进行快速有效的多维度分析的问题。这里是对该方案的详细描述。
阅读全文
posted @ 2012-10-14 22:29
随笔分类 - 数据分析
数据统计分析的方法和经验
实时计算引擎处理延迟的排查过程
摘要：实时计算引擎在处理实时数据时，要保证新到来的数据被及时得到处理。例如，对于网站的访问日志数据，假设每一分钟有一个日志文件，那么实时计算引擎必须满足能够在一分钟之内处理完这一分钟的日志数据文件，否则会导致日志文件堆积而不能被及时处理。前几天，量子后端团队排查了一次实时计算引擎出现的处理延迟故障，其中使用到了ltrace和strace工具，在这里和大家分享一下。
阅读全文
posted @ 2012-03-26 22:27
Mondrian中聚合表的应用
摘要：最近在项目中使用了开源OLAP引擎——Mondrian实现一个多维分析系统，在项目后期系统优化阶段使用了Mondrian中的聚合表机制。这里结合Mondrian官方资料和个人使用经验，对Mondrian中聚合表的概念、应用场景、如何使用、注意事项等内容做一个总结。
阅读全文
posted @ 2012-03-25 12:32
