别样风景天 - 博客园

大数据学习（23）—— ZooKeeper实战

摘要：本片介绍两方面内容，一方面是命令行操作，另一方面是Java调用API。 ZooKeeper集群环境的搭建在Hadoop集群搭建里已经讲过了，这里不再赘述，本篇内容基于zk3.5.8。这里补充一点，除了前面提到的leader和follower之外，zk还有一种角色叫observer。可以这么理解，f 阅读全文

posted @ 2021-03-14 14:44 别样风景天阅读(183) 评论(0) 推荐(0) 编辑

大数据学习（22）—— ZooKeeper能做些什么

摘要：官网上已经给出了zk的几种典型应用场景，原话是这么说的： It exposes a simple set of primitives that distributed applications can build upon to implement higher level services for 阅读全文

posted @ 2021-03-06 09:22 别样风景天阅读(104) 评论(0) 推荐(0) 编辑

大数据学习（21）—— ZooKeeper原理

摘要：这一篇我们对zookeeper的主要原理做一个简单介绍。zookeeper的核心原理是zookeeper atomic broadcast（ZAB协议），它来源于paxos协议。这里用通俗易懂的话，介绍一下paxos。拜占庭将军问题在介绍paxos协议之前，先来听一个故事：拜占庭将军问题。拜占阅读全文

posted @ 2021-02-27 15:40 别样风景天阅读(174) 评论(0) 推荐(0) 编辑

大数据学习（20）—— Zookeeper介绍

摘要： ZooKeeper是什么就像相声大师冯巩每次出场都说：“亲爱的观众朋友们，我想死你们啦”一样，我再强调一次，学习大数据官网很重要。Zookeeper官网看这里ZooKeeper ZooKeeper 是一个开源的分布式协调服务，它本身也是分布式设计。它提供了一组简单的原语，基于这些指令，分布式应用能阅读全文

posted @ 2021-01-29 20:36 别样风景天阅读(130) 评论(0) 推荐(0) 编辑

大数据学习（19）—— Flume环境搭建

摘要：系统要求 Java1.8或以上内存要足够大硬盘足够大 Agent对源和目的要有读写权限 Flume部署我这8G内存的电脑之前搭建Hadoop、Hive和HBase已经苟延残喘了，怀疑会卡死，硬着头皮上吧。先解压缩，大数据的这些产品都是一个部署套路。我准备在server01上部署flume，单阅读全文

posted @ 2021-01-12 12:54 别样风景天阅读(156) 评论(0) 推荐(0) 编辑

大数据学习（18）—— Flume介绍

摘要：老规矩，学习新东西先上官网瞅瞅Apache Flume Flume是什么 Flume是一个分布式、可靠的大规模高效日志收集、汇聚和传输的这么一个服务。它的架构基于流式数据，配置简单灵活。它具备可调节的可靠性机制和很多失败恢复机制，这让它具有健壮性和容错性。它采用简单可扩展的数据模型为在线分析应用提供阅读全文

posted @ 2021-01-02 15:30 别样风景天阅读(300) 评论(0) 推荐(0) 编辑

大数据学习（17）—— HBase表设计

摘要：为啥要把表设计拿出来独立成章？因为我觉得像我这样搞了很多年Java后端开发的技术人员，在学习HBase的时候，会受到关系型数据库3NF、BCNF的影响。事实上，数据库范式在HBase里完全没用，必须转变思想。因此把这一点单独写出来，供类似情况的技术人员参考。 HBase逻辑视图这个图看起来像是Ex 阅读全文

posted @ 2020-12-16 20:28 别样风景天阅读(428) 评论(0) 推荐(0) 编辑

大数据学习（16）—— HBase环境搭建和基本操作

摘要：部署规划 HBase全称叫Hadoop Database，它的数据存储在HDFS上。我们的实验环境依然基于上个主题Hive的配置，参考大数据学习（11）—— Hive元数据服务模式搭建。在此基础上，增加HBase的部署规划。我感觉这8G的内存马上要跑不动了。主机 RegionServer Mas 阅读全文

posted @ 2020-12-08 08:26 别样风景天阅读(323) 评论(0) 推荐(0) 编辑

深度与广度

摘要：写了十几篇技术文章，今天换换口味，写一篇杂谈。搞技术的在某个阶段都会遇到学无力的情况。技术知识越出越多，越出越快，远远超出了人类的认知能力，耗费毕生的时间也只能对其探究一二。未来也许AI能够从海量知识的学习中脱颖而出，取代大部分人类的劳作。如何利用有限的生命去学习技术？大抵有两条路。一条是对新出阅读全文

posted @ 2020-12-01 11:33 别样风景天阅读(112) 评论(0) 推荐(0) 编辑

大数据学习（15）—— B+树和LSM

摘要：这一节介绍数据库存储引擎常用的两种数据结构。作为关系型数据库的代表，MySql的InnoDB使用B+树来存储索引。作为NoSQL的代表，HBase使用的LSM树，我们来看看两者有什么区别。 B+树 B+树是大学数据结构里的内容。要了解什么是B+树，先从简单的开始。二叉排序树简单的说，二叉排序树首阅读全文

posted @ 2020-12-01 09:54 别样风景天阅读(546) 评论(0) 推荐(0) 编辑