蜘蛛侠0 - 博客园

2018年6月10日

摘要： *************setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！cleanup(),此方阅读全文

posted @ 2018-06-10 15:26 蜘蛛侠0 阅读(163) 评论(0) 推荐(0) 编辑

Hbase用java基础操作

摘要： HbaseCreate--建表 HbaseInsert--插入 HbaseCI-建表加插入 HbaseScan--查看整个表 HbaseZH--hbase综合使用常用API hbase执行过程不执行MapReduce,直接java编译就可以 /usr/local/jdk1.7.0_25/bin/ja 阅读全文

posted @ 2018-06-10 15:04 蜘蛛侠0 阅读(410) 评论(0) 推荐(0) 编辑

2018年6月9日

Hbase常用api

摘要：几个相关类与HBase数据模型之间的对应关系 java类 HBase数据模型 HBaseAdmin 数据库（DataBase) HBaseConfiguration HTable 表（Table) HTableDescriptor 列族（Column Family) Put 列修饰符（Column 阅读全文

posted @ 2018-06-09 22:07 蜘蛛侠0 阅读(1685) 评论(0) 推荐(0) 编辑

2018年5月22日

HBASE_HIVE整合

摘要： Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类首先保证版本一致 cd /home/hadoop/hive-1.1.0-cdh5.5.2/lib 查看版本是否一致hbase-server-1.0.0 阅读全文

posted @ 2018-05-22 22:21 蜘蛛侠0 阅读(367) 评论(0) 推荐(0) 编辑

2018年5月16日

Hbase安装

摘要：安装zookeeper[root@a1 hadoop]# tar -zxvf zookeeper-3.4.5-cdh5.5.2.tar.gz[root@a1 hadoop]# cd /usr/local/zookeeper-3.4.5-cdh5.5.2/[root@a1 zookeeper-3.3. 阅读全文

posted @ 2018-05-16 22:33 蜘蛛侠0 阅读(175) 评论(0) 推荐(0) 编辑

2018年5月14日

HIVE_case when

摘要： create table Pl(Na varchar2(15), Sh varchar2(15), Mj varchar2(15),Gt int, Sa int,Jt varchar2(20));insert into Pl values('sunhongyu','yiben','jisuanji' 阅读全文

posted @ 2018-05-14 21:49 蜘蛛侠0 阅读(325) 评论(0) 推荐(0) 编辑

HIVE优化

摘要： 1.hive小文件合并cd hive /conf/hive-default输出合并合并输出小文件。输出时，若是太多小文件，每个小文件会与一个block进行对应，而block存在的意义是为了方便在namenode中存储，那么过多的block将会充斥namenode的表中，待集群规模增大和运行次数增大，阅读全文

posted @ 2018-05-14 21:48 蜘蛛侠0 阅读(100) 评论(0) 推荐(0) 编辑

HIVE自定义函数

摘要： UDF 操作单个数据行，产生单个数据行；1.[hadoop@h91 hhh]$ vi TimeFormat.javaimport java.sql.Date;import java.text.SimpleDateFormat;import org.apache.hadoop.hive.ql.exec 阅读全文

posted @ 2018-05-14 21:46 蜘蛛侠0 阅读(139) 评论(0) 推荐(0) 编辑

HIVE函数大全

摘要：一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 12. 不等值比较: <> 语法: A <> B操作类型: 所有基本类型阅读全文

posted @ 2018-05-14 21:45 蜘蛛侠0 阅读(212) 评论(0) 推荐(0) 编辑

HIVE基础命令

摘要： hive> create table f1 (name string);hive> load data local inpath '/home/hadoop/f11.txt' into table f1;hive> select * from f1;hive> drop table f1;creat 阅读全文

posted @ 2018-05-14 21:28 蜘蛛侠0 阅读(213) 评论(0) 推荐(0) 编辑

李杰然

公告