小马过溪

摘要： 1. 简介 对于HBase的协处理器概念可由其官方博文了解：https://blogs.apache.org/hbase/entry/coprocessor_introduction 总体来说其包含两种协处理器：Observers和Endpoint。 其中Observers可以理解问传统数据库的触发 阅读全文

摘要： 1. 简介 以standalone模式安装spark集群bin运行demo。 2.环境和介质准备 2.1 下载spark介质，根据现有hadoop的版本选择下载，我目前的环境中的hadoop版本是2.6，所以下载spark-2.0.0-bin-hadoop2.6.tgz 当然你也可以下载源码自行根据 阅读全文

摘要： 1.简介 现在很少用到使用MR计算框架来实现功能，通常的做法是使用hive等工具辅助完成。但是对于其底层MR的原理还是有必要做一些了解。 2.MR客户端程序实现套路 这一小节总结归纳编写mr客户端程序的一般流程和套路。将以wordcount为例子进行理解。 运行一个mr程序有三种模式，分别为：本地模 阅读全文

摘要： 代码：https://github.com/xufeng79x/ZkClientTest 1. 简介 zookeeper的特性决定他适用到某些场景非常合适，比如典型的应用场景： 1.集群管理（Group Membership） 2.统一命名服务（Name Service） 3.配置管理（Config 阅读全文

摘要： 可以参考部署HBase系统（分布式部署） 和基于无HA模式的hadoop下部署相比，主要是修改hbase-site .xml文件，修改如下参数即可： 其他并无差别。 阅读全文

摘要： 代码：https://github.com/xufeng79x/ZkClientTest 1、简介 zookeeper的基本原理和使用场景描述可参考：[hadoop][基本原理]zookeeper基本原理 本文主要讲解zookeeper节点的增删除改查，以及watcher的使用。 2.工程准备 除 阅读全文

摘要： 1.简介 https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 2. 数据模型 Zookeeper 会维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统，如图所示： Zookeeper 这种数据结构有如下这些特 阅读全文

摘要： 在某个节点上配置任务调度周期即可： crontab -u root -e 每分钟执行一次。 阅读全文

摘要： 1.简介 2.X版本后namenode支持了HA特性，使得整个文件系统的可用性更加增强。 2.安装前提 zookeeper集群，zookeeper的安装参考[hadoop][会装]zookeeper安装 3.资源规划 JournalNode JournalNode JournalNode NameN 阅读全文

摘要： 1.简介 分布式场景下的各个进程间的协调运作离不开zookeeper， zookeeper已经是大数据领域提供分布式协调服务的事实标准。 本文只介绍zookeeper的安装方法。 2. 节点规划如下： 3.目录规划 上述中： 1.软链接形式有利于后续版本升级后不会影响到环境变量等参数的设定。 2.配 阅读全文