摘要： MapReduce 实例一：（进行文件的分词读取） 1.1 首先导入架包 1.2 编写Mapper 1.3 编写Reduce 1.4 编写job驱动 1.5 在hsfs 中的方法： [root@head42 ~]# hadoop jar mapreduce-1.0-SNAPSHOT.jar com. 阅读全文

摘要： hadoop hive-2.3.5安装： 解压文件：[root@head42 opt]# tar -zxvf apache-hive-2.3.5-bin.tar.gz -C/opt 建立软连接：[root@head42 opt]# ln -s apache-hive-2.3.5-bin/ hive 阅读全文

摘要： hadoop sqoop （实例）day-1 sqoop：是一款开源的工具，主要用于在Hadoop与传统的数据库（mysql）间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 创建脚本：vim sqoop-customer. 阅读全文

摘要： hadoop hive (重点)day-6 他是一个储存仓库 1）hive的元数据（类似与表，列的长度等）存储在mysql上面 创建/拷贝建立新表格 1)create table table_name like old_table //只有表格 2)create table table_name a 阅读全文

摘要： hadoop hive 1）2007年hive出世， 2）2014hive0.13.0是非常的流行（先对来说比较稳定） 3）2015hive1.2.0（相对来说只不过是升级） 4）2016hive2.1.0（更新了很多的功能） 1.1hive元数据管理 1）通过hive对元数据进行建模加工，变成表的 阅读全文

摘要： hadoop hive 高级查询 select基础 1.0 一般查询 1)select * from table_name 2)select * from table_name where name='....' limit 1; 1.1cte和嵌套查询 1)with t as(select.... 阅读全文

摘要： hadoop hive 高级查询 Hive聚合运算 - Group by （基本内置聚合函数）nmax, min, count, sum, avg 1）Hive基本内置聚合函数与group by 一起使用 2）支持按位置编号分组 set hive.groupby.orderby.position.a 阅读全文

摘要： Hive 函数 ！！！_a前面是类型 1.1 日期函数： 1.2 集合函数 实例：hive> select size(array(1,1,2,3,4)); ！！！注意都是小括号哈 1.3 条件函数 1.4 聚合函数 阅读全文

摘要： NoSQL HBase day-1 NoSQL ​ kafka:是一个相对于缓冲数据的系统 三大基石： ！！！HBase基于hdfs文件系统，他是一个实时的文件 ！！！写入很快，读取很快 NoSQL(分类) ​ 图数据库：点和点之间的关系 HBase(概述) 是一个面向列存储的数据库 他有读写的缓存 阅读全文

摘要： NoSQL Hbase（基础命令） 1.1 创建namespace（表空间相当于数据库） 1.2 创建表格和列族 1.3 添加数据 1.4 取值行键为001的数据 1.5 添加一个‘adv’列 1.6 查询两个列族中的一个列的数据 1.7 查看表结构：desc 'table' 1.8 当我们修改了三 阅读全文