assesion

摘要： zookeeper简介官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。简单来说zookeeper在大数据开发当中就是各 阅读全文

摘要： 循环复制文件到所有节点的相同目录下，在Hadoop开发中通常需要将所修改的配置信息更新到其他节点，这个时候编写xsync脚本就可以轻松实现修该一次同步所有。 rsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点，它只是拷贝文件不同的部分，因而减少了网络负担。 阅读全文

摘要： Hadoop分为本地模式、伪分布式、和完全分布式模式，本地模式指在一台服务器上配置Hadoop，伪分布式还是一台服务器但是多进程运行，完全分布式在不同服务器上运行，由于学习阶段没有足够多的服务器可供使用，所以采用通过vmware虚拟机搭建Hadoop完全分布式。 安装JDK 官网下载jdk1.8：h 阅读全文

摘要： Google Protocol Buffer(简称Protobuf)是Google公司内部的混合语言数据标准，用于RPC系统和持续数据存储系统。是一种轻便高效的可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式，在Hadoop源码编译中也会用到。 下载 官方下载地址 (可 阅读全文