摘要: 一.Sqoop Sqoop介绍 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。一般情况下,是将数据分析的结果导出 阅读全文
posted @ 2019-03-18 22:17 Transkai 阅读(3395) 评论(0) 推荐(0) 编辑
摘要: HiveServer 查看/home/hadoop/bigdatasoftware/apache-hive-0.13.1-bin/bin目录文件,其中有hiveserver2 启动hiveserver2,如下图: 打开多一个终端,查看进程 有RunJar进程说明hiveserver正在运行; bee 阅读全文
posted @ 2019-03-18 13:21 Transkai 阅读(854) 评论(0) 推荐(0) 编辑
摘要: yarn是什么?1、它是一个资源调度及提供作业运行的系统环境平台 资源:cpu、mem等 作业:map task、reduce Task yarn产生背景?它是从hadoop2.x版本才引入1、hadoop1.x版本它是如何资源调度及作业运行机制原理a、JobTracker(主节点) (a):接受客 阅读全文
posted @ 2019-03-18 00:59 Transkai 阅读(3994) 评论(0) 推荐(1) 编辑
摘要: 在Linux环境下安装zookeeper 在Linux环境下安装zookeeper 1、 将zookeeper-3.4.13.tar.gz复制到linux操作系统 2、 通过putty终端访问linux操作 详细步骤可见以下链接 https://www.cnblogs.com/Transkai/p/ 阅读全文
posted @ 2019-03-18 00:35 Transkai 阅读(416) 评论(0) 推荐(0) 编辑