2012 年 3月随笔档案 - 大圆那些事

实时计算引擎处理延迟的排查过程

摘要：实时计算引擎在处理实时数据时，要保证新到来的数据被及时得到处理。例如，对于网站的访问日志数据，假设每一分钟有一个日志文件，那么实时计算引擎必须满足能够在一分钟之内处理完这一分钟的日志数据文件，否则会导致日志文件堆积而不能被及时处理。前几天，量子后端团队排查了一次实时计算引擎出现的处理延迟故障，其中使用到了ltrace和strace工具，在这里和大家分享一下。阅读全文

posted @ 2012-03-26 22:27 大圆那些事阅读(2993) 评论(1) 推荐(0) 编辑

Mondrian中聚合表的应用

摘要：最近在项目中使用了开源OLAP引擎——Mondrian实现一个多维分析系统，在项目后期系统优化阶段使用了Mondrian中的聚合表机制。这里结合Mondrian官方资料和个人使用经验，对Mondrian中聚合表的概念、应用场景、如何使用、注意事项等内容做一个总结。阅读全文

posted @ 2012-03-25 12:32 大圆那些事阅读(11999) 评论(6) 推荐(5) 编辑

HBase性能优化方法总结（四）：数据计算

摘要：本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第四部分内容：数据计算相关的优化方法。阅读全文

posted @ 2012-03-08 15:28 大圆那些事阅读(8760) 评论(3) 推荐(1) 编辑

HBase性能优化方法总结（三）：读表操作

摘要：本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容：读表操作相关的优化方法。阅读全文

posted @ 2012-03-08 15:22 大圆那些事阅读(31390) 评论(1) 推荐(2) 编辑

HBase性能优化方法总结（二）：写表操作

摘要：本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容：写表操作相关的优化方法。阅读全文

posted @ 2012-03-08 15:14 大圆那些事阅读(21249) 评论(4) 推荐(4) 编辑

HBase性能优化方法总结（一）：表的设计

摘要：本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。阅读全文

posted @ 2012-03-08 15:06 大圆那些事阅读(24136) 评论(2) 推荐(3) 编辑

MySQL数据库InnoDB数据恢复工具使用总结

摘要：本文从实际使用经验出发，介绍一款开源的MySQL数据库InnoDB数据恢复工具：innodb-tools，它通过从原始数据文件中提取表的行记录，实现从丢失的或者被毁坏的MySQL表中恢复数据。例如，当你不小心执行drop table或者drop database之后，可以通过以下方式恢复数据。阅读全文

posted @ 2012-03-04 22:42 大圆那些事阅读(18524) 评论(4) 推荐(4) 编辑