摘要： DataX操作MySQL 一、 从MySQL读取 介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库，MysqlReader不支持F 阅读全文

摘要： DataX的安装 1. 可下载tar包 https://github.com/alibaba/DataX/blob/master/userGuid.md 2. 下载源码自己编译 git clone https://github.com/alibaba/DataX.git打包mvn -U clean 阅读全文

摘要： 可以将ZK看作一个具有高可用性特征的文件系统。这个文件系统中没有文件和目录，而是统一使用节点（znode）的概念，称为znode。znode既可以作为保存数据的容器（如同文件），也可以作为保存其他znode的容器（如同目录）。所有的znode构成了一个层次化的命名空间，一种自然的建立组成员列表的方式 阅读全文

摘要： ZooKeeper安装和运行 1. 下载安装包 zookeeper-3.4.9.tar.gz 2. 解压 tar -zxvf zookeeper-3.4.9.tar.gz ZooKeeper提供了几个能够运行服务并与之交互的二进制可执行文件，可以很方便地将包含这些二进制文件的目录加入命令行路径 3. 阅读全文

摘要： HBase-存储-KeyValue格式 本质上，HFile中的每个KeyValue都是一个低级的字节数组，它允许零复制访问数据。 KeyValue格式如下 该结构以两个分别表示键长度（Key Length）和值长度（Value Length）的定长数字开始。有了这个信息，用户就可以在数据中跳跃，例如 阅读全文

摘要： HBase-存储-HFile格式 实际的存储文件功能是由HFile类实现的，它被专门创建以达到一个目的：有效地存储HBase的数据。它们基于Hadoop的TFile类，并模仿Google的BigTable架构使用的SSTable格式。文件格式的详细信息如下图 这些文件是可变长度的，唯一固定的块是Fi 阅读全文

摘要： HBase-存储-文件存储结构、拆分、合并 HBase使用一个HDFS中可配置的根目录，默认设为“/hbase”。可使用hadoop fs -lsr /hbase查看目录结构，文件可以被分为两类，一类位于HBase根目录下，另一类位于根目录中的表目录下。 Flush命令可以将内存中的数据写到存储文件 阅读全文

摘要： 写路径 当用户向HRegionServer发起put请求时，其会将请求交给对应的HRegion实例来处理。第一步是要决定数据是否需要写到由HLog类实现的预写日志中。WAL是标准的Hadoop SequenceFile,并且存储了HLogKey实例。这些键包括序列号和实际数据，所以在服务器崩溃时可以 阅读全文

摘要： 概览 HBase主要处理两种文件：一种是预写日志(Write-Ahead Log,WAL),另一种是实际的数据文件。这两种文件主要由HRegionServer管理。在某些情况下，HMaster也可以进行一些底层的文件操作。当存储数据到HDFS中时，用户可能注意到实际的数据文件会被切分成更小的块。也正 阅读全文

摘要： 关于ZooKeeperZooKeeper是Hadoop的分布式协调服务。写分布式应用的主要困难在于会出现“部分失败”（partial failure）。当一条消息在网络中两个节点之间传送时，如果出现网络错误，发送者无法知道接收者是否已经收到这条消息。接收者可能在出现网络错误之前就已经收到这条消息，也 阅读全文