LXL_1

摘要： 尚硅谷大数据技术之Oozie 第1章 Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调 阅读全文

摘要： 尚硅谷大数据技术之Sqoop 第1章 Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop 阅读全文

摘要： Hbase 实战之谷粒微博 1 需求分析 1) 微博内容的浏览，数据库表设计 2) 用户社交体现：关注用户，取关用户 3) 拉取关注的人的微博内容 2 代码实现 2.1 代码设计总览： 1) 创建命名空间以及表名的定义 2) 创建微博内容表 3) 创建用户关系表 4) 创建用户微博内容接收邮件表 5 阅读全文

摘要： 第 7 章HBase 优化 7.1 高可用 在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如 果 Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不 会维持太久。所以 HBase 阅读全文

摘要： 1.HBase 与 Hive 的对比 1. Hive (1) 数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系，以 1.HBase 与 Hive 的对比 1. Hive (1) 数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件 阅读全文

摘要： 自定义 HBase-MapReduce1 目标：将 fruit 表中的一部分数据（列为 name 的数据），通过 MR 迁入到 fruit_mr 表中。 分步实现： 1．构建 FruitMapper 类，用于读取 fruit 表中的数据 package com.atlxl.mr1; import o 阅读全文

摘要： 官方 HBase-MapReduce 1．查看 HBase 的 MapReduce 任务的执行 [lxl@hadoop102 hbase]$ bin/hbase mapredcp 2．环境变量的导入 （1）执行环境变量的导入（临时生效，在命令行执行下述操作） $ export HBASE_HOME= 阅读全文

摘要： 依赖： 代码： 阅读全文

摘要： 第3章 HBase Shell操作 3.1 基本操作 1．进入HBase客户端命令行 2．查看帮助命令 3．查看当前数据库中有哪些表 3.2 表的操作 1．创建表 2．插入数据到表 3．扫描查看表数据 4．查看表结构 5．更新指定字段的数据 6．查看“指定行”或“指定列族:列”的数据 7．统计表数据 阅读全文

摘要： 第1章 HBase简介 1.1 什么是HBase HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护， 用于支持结构化的数据存储。 官方网站：http://hbase.apache.org -- 2006年Google发表BigTab 阅读全文