随笔分类 -  Hive

Spark2.0 Java实现将Hive运算结果保存到数据库
摘要:package com.gm.hive.SparkHive;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.SaveMode... 阅读全文

posted @ 2018-05-07 11:36 疯狂的小萝卜头 阅读(380) 评论(0) 推荐(0) 编辑

Spark2.0集成Hive操作的相关配置与注意事项
摘要:前言已完成安装Apache Hive,具体安装步骤请参照,Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作补充说明Hive中metastore(元数据存储)的三种方式:内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方... 阅读全文

posted @ 2018-05-05 13:15 疯狂的小萝卜头 阅读(4614) 评论(0) 推荐(0) 编辑

总结可用的大数据分析软件对应版本
摘要:apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sq... 阅读全文

posted @ 2018-05-04 11:20 疯狂的小萝卜头 阅读(222) 评论(0) 推荐(0) 编辑

Linux安装Sqoop及基础使用
摘要:下载Sqoop官网地址http://sqoop.apache.org/wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装及配置解压tar -... 阅读全文

posted @ 2018-05-04 11:15 疯狂的小萝卜头 阅读(2705) 评论(0) 推荐(0) 编辑

Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
摘要:前言安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命令)。关于如何安装Hadoop集群请参照:CentOS7搭建Hadoo... 阅读全文

posted @ 2018-05-03 16:32 疯狂的小萝卜头 阅读(802) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示