摘要：
本文由 网易云 发布。 作者：郭忆 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 故障恢复 MySQL基于Check point的机制，周期性的建立redo log与数据页的一致点。一旦数据库重启，从记录的Check point开始，根据redo log，对相应的数据页进行更新，对于已经提交 阅读全文
摘要：
本文由 网易云 发布。 作者：郭忆 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 在2017年5月芝加哥举办的世界顶级数据库会议SIGMOD/PODS上，作为全球最大的公有云服务提供商，Amazon首次系统的总结了新一代云端关系数据库Aurora的设计实现。Aurora是Amazon在201 阅读全文
摘要：
本文由 网易云 发布。 作者：范欣欣 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 HFile是HBase存储数据的文件组织形式，参考BigTable的SSTable和Hadoop的TFile实现。从HBase开始到现在，HFile经历了三个版本，其中V2在0.92引入，V3在0.98引入。 阅读全文
摘要：
本文由 网易云 发布。 作者：范欣欣 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 众所周知，HBase默认适用于写多读少的应用，正是依赖于它相当出色的写入性能：一个100台RS的集群可以轻松地支撑每天10T 的写入量。当然，为了支持更高吞吐量的写入，HBase还在不断地进行优化和修正，这篇 阅读全文
摘要：
本文由 网易云 发布。 作者： 范欣欣 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 01 HFile索引结构解析 HFile中索引结构根据索引层级的不同分为两种：single-level和mutil-level，前者表示单层索引，后者表示多级索引，一般为两级或三级。HFile V1版本中只 阅读全文
摘要：
本文由 网易云 发布。 作者：冯宇 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 本文是Impala源码笔记的第一篇，本文主要根据源代码学习一下statestored模块的实现，众所周知，Impala包含三个模块，分别是impalad 、catalogd 和statestored， 其中st 阅读全文
摘要：
本文由 网易云 发布。 作者：冯宇 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 背景 最近开始使用了新版本的Kylin，在此之前对于新版本的了解只是代码实现和一些简单的新功能测试，但是并没有导入实际场景的数据做分析和查询，线上Hadoop稳定之后，逐渐得将一些老需求往新的环境迁移，基于以前 阅读全文
摘要：
本文由 网易云 发布。 作者：周思华 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 本文尝试描述Beam模型和Stream & Table理论间的关系（前者描述于数据流模型论文、the-world-beyond-batch-streaming101和the-world-beyond-batc 阅读全文
摘要：
本文由 网易云 发布。 作者：唐雕龙 本篇文章仅限内部分享，如需转载，请联系网易获取授权。 面向新手的hadoop+hive学习环境搭建，加对我走过的坑总结，避免大家踩坑。 对于hive相关docker，并没有官方的docker,第三方维护经过测试各种不靠谱，所以才想到自己搭建一套，然后后期在整理成 阅读全文