子墨言良

摘要： Sqoop 架构 Sqoop 架构是非常简单的，它主要由三个部分组成：Sqoop client、HDFS/HBase/Hive、Database。下面我们来看一下 Sqoop 的架构图。 用户向 Sqoop 发起一个命令之后，这个命令会转换为一个基于 Map Task 的 MapReduce 作业。 阅读全文

摘要： 环境下载 首先将下载的 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz放到 /usr/hadoop/目录下（该目录可以自定义，一般为Hadoop集群安装目录），然后对安装包解压、修改文件名和修改用户权限。 环境配置 1.配置hadoop版本号 切换到/sqoop 阅读全文

摘要： sqoop Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。这节课我们将详细介绍 Sqoop 这个工具。 Sqoop 产生背景 Sqoop 的产生主要源于以下几种需求： 1、多数使用 阅读全文

摘要： 本次配置单节点的Flume NG 1、下载flume安装包 下载地址：(http://flume.apache.org/download.html) apache-flume-1.6.0-bin.tar.gz安装包上传解压到集群上的/usr/hadoop/目录下。 2、配置flume 修改集群上的f 阅读全文

摘要： Flume 是什么？ Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume 特点1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flum 阅读全文

摘要： MapReduce 操作 HBase 在 HBase 系统上运行批处理运算，最方便和实用的模型依然是 MapReduce，如下图所示。 HBase Table 和 Region 的关系类似 HDFS File 和 Block 的关系，HBase提供配套的 TableInputFormat 和 Tab 阅读全文

摘要： 一、HBase Java编程 （1）HBase是用Java语言编写的，它支持Java编程； （2）HBase支持CRUD操作：Create，Read，Update和Delete； （3）Java API包含HBase Shell支持的所有功能，甚至更多； （4）Java API是访问HBase最快的 阅读全文

摘要： HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。 HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。 备注:写错 HBase Shell 命 阅读全文

摘要： HBase 的安装有两种方式：单机安装和分布式安装。HBase的单机安装了解即可，大家重点掌握HBase 分布式集群的安装。下面我们分别进行介绍。 HBase 单机安装 HBase 需要运行在 Hadoop 基础之上，因此安装HBase 的前提是必须安装 Hadoop 环境。Hadoop 环境的安装 阅读全文

摘要： HBase定义 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利 阅读全文