摘要: 1、 进入Hbase shell sz280328:cloudera-scm@/home/cloudera-scm>hbase shell 2、 建表,插入一行数据 hbase(main):001:0> create 'hbase_stu', 'stu_info', 'score' hbase(ma 阅读全文
posted @ 2018-12-14 17:57 何国秀_xue 阅读(2637) 评论(2) 推荐(0) 编辑
摘要: create database hive_to_mongodb;add jar /hgx/mongo-hadoop-core-1.5.1.jar /hgx/mongo-hadoop-hive-1.5.1.jar /hgx/mongo-java-driver-3.2.1.jar;add jar /ja 阅读全文
posted @ 2018-12-14 17:44 何国秀_xue 阅读(463) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bash #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : 阅读全文
posted @ 2018-12-14 17:39 何国秀_xue 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 导入hdfs建表 use ods_db;CREATE EXTERNAL TABLE BER_O2O_PV(JSON STRING)PARTITIONEDBY(YEARSTRING,MONTHSTRING)STORED AS TEXTFILELOCATION '/ODS/ODS_DB/BER_O2O_ 阅读全文
posted @ 2018-12-14 17:37 何国秀_xue 阅读(3812) 评论(0) 推荐(0) 编辑
摘要: set hive.cli.print.header=true;set mapred.max.split.size=256000000;set mapred.min.split.size.per.node=256000000;set mapred.min.split.size.per.rack=256 阅读全文
posted @ 2018-12-14 17:31 何国秀_xue 阅读(152) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bash #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : 阅读全文
posted @ 2018-12-14 17:29 何国秀_xue 阅读(239) 评论(0) 推荐(0) 编辑
摘要: #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : 数据库配置差数#### 阅读全文
posted @ 2018-12-14 17:19 何国秀_xue 阅读(229) 评论(0) 推荐(0) 编辑
摘要: #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : 公共变量配置差数### 阅读全文
posted @ 2018-12-14 17:18 何国秀_xue 阅读(216) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bash #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : 阅读全文
posted @ 2018-12-14 17:16 何国秀_xue 阅读(184) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bash ########################################### System Name : 大数据智慧分析平台 ## Author : heguoxiu ## Description : sqoop导入数据到hdfs ################# 阅读全文
posted @ 2018-12-14 17:14 何国秀_xue 阅读(284) 评论(0) 推荐(0) 编辑
摘要: Hive默认使用的计算框架是MapReduce,在我们使用Hive的时候通过写SQL语句,Hive会自动将SQL语句转化成MapReduce作业去执行,但是MapReduce的执行速度远差与Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎,将MapReduce替换成S 阅读全文
posted @ 2018-12-14 17:09 何国秀_xue 阅读(530) 评论(0) 推荐(0) 编辑