数据库 - 随笔分类 - 大圆那些事

HBase中MVCC的实现机制及应用情况

摘要：MVCC（Multi-Version Concurrent Control），即多版本并发控制协议，广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应用情况。阅读全文

posted @ 2014-08-12 12:44 大圆那些事阅读(6778) 评论(0) 推荐(0) 编辑

数据迁移工具Sqoop和DataX功能比较

摘要：最近由于项目需要，对Apache Sqoop和Taobao DataX工具进行了调研，这里是对二者功能的初步梳理，不会涉及技术细节和使用方法，留作日后选型参考。阅读全文

posted @ 2013-04-29 10:34 大圆那些事阅读(21383) 评论(3) 推荐(0) 编辑

一种实时多维数据的分析及同步系统

摘要：多维分析技术是一种被广泛应用的数据分析技术，本人在实际项目中使用开源OLAP框架Mondrian及关系型数据库MySQL，尝试设计并实现了一套多维数据的分析及同步系统，以解决现有技术对于互联网上实时流动变化数据无法进行快速有效的多维度分析的问题。这里是对该方案的详细描述。阅读全文

posted @ 2012-10-14 22:29 大圆那些事阅读(8227) 评论(4) 推荐(4) 编辑

MySQL系统配置参数优化总结【持续更新中】

摘要：个人在做项目过程中，曾对MySQL系统配置参数进行过一些调整与优化工作，例如，链接超时断开、SQL超过缓冲区长度限制、调整内存表大小限制等，这里将逐一进行梳理总结，以便后续遇到类似问题能够快速解决。阅读全文

posted @ 2012-10-14 21:18 大圆那些事阅读(1334) 评论(0) 推荐(0) 编辑

HBase存储时间相关多列数据的两种方案

摘要：所谓“时间相关多列数据”指的是同一个Key下具有多个属性数据，并且这些数据与时间具有相关性，多数场景是该Key对应在不同时间时刻的行为数据。在实际应用中，这类数据很多，例如电子商务网站上用户最近一段时间浏览的宝贝集合、访问的URL列表等。使用HBase存储此类数据时，有以下两种常用的方案。阅读全文

posted @ 2012-09-28 14:06 大圆那些事阅读(12088) 评论(2) 推荐(2) 编辑

HBase的Block Cache实现机制分析

摘要：本文结合HBase 0.94.1版本源码，对HBase的Block Cache实现机制进行分析，总结学习其Cache设计的核心思想。阅读全文

posted @ 2012-09-24 18:55 大圆那些事阅读(14677) 评论(4) 推荐(0) 编辑

HBase常见问题答疑解惑【持续更新中】

摘要：本文对HBase开发及使用过程中遇到过的常见问题进行梳理总结，希望能解答新加入的HBaser们的一些疑惑。阅读全文

posted @ 2012-09-08 11:51 大圆那些事阅读(7963) 评论(3) 推荐(1) 编辑

HTable和HTablePool使用注意事项

摘要：HTable和HTablePool都是HBase客户端API的一部分，可以使用它们对HBase表进行CRUD操作。下面结合在项目中的应用情况，对二者使用过程中的注意事项做一下概括总结。阅读全文

posted @ 2012-07-11 16:40 大圆那些事阅读(20747) 评论(4) 推荐(2) 编辑

MySQL数据库InnoDB数据恢复工具使用总结

摘要：本文从实际使用经验出发，介绍一款开源的MySQL数据库InnoDB数据恢复工具：innodb-tools，它通过从原始数据文件中提取表的行记录，实现从丢失的或者被毁坏的MySQL表中恢复数据。例如，当你不小心执行drop table或者drop database之后，可以通过以下方式恢复数据。阅读全文

posted @ 2012-03-04 22:42 大圆那些事阅读(18524) 评论(4) 推荐(4) 编辑