摘要：
Hive 基于HDFS和MapReduce提供了一个基本的SQL的数据仓库方案。关键点：在数据库系统设计时，如何把查询语言和计算框架分离，做好对现有系统的复用 设计目标 写SQL执行MapReduce任务 数据模型 从MapReduce任务到SQL语言间存在很多鸿沟 序列化和类型信息，基于SQL的数 阅读全文
摘要：
Chubby 分布式系统如何保障数据一致性 - 知乎 (zhihu.com) 在谷歌“三驾马车”中3个系统都是单Master系统，这个Master是系统的单点，一旦Master故障集群就无法提供服务。使用Backup Master，通过监控机制进行切换。但是： 如何实现Backup Master和M 阅读全文
摘要：
大数据核心3个概念： 能伸缩到一千台以上的分布式数据处理集群技术 这上千个节点是使用廉价PC搭建 将数据中心当做一台计算机 大数据的起源：“三架马车” 这三篇论文还依赖了两个基础设施：Chubby锁服务，Thrift序列化 MapReduce 演进路线： 编程方式：最初的MapReduce需要工程师 阅读全文
摘要：
Thrift 格式解析 https://www.cnblogs.com/Forever-Kenlen-Ja/p/9649724.html 常用数据格式包括 CSV JSON XML，这些格式有缺点： CSV没有指定数据类型，如可能将数字开头的字符串无认为数字 使用文本存储会浪费空间 JSON XML 阅读全文