摘要: Sqoop一些常用命令及参数 5.1、常用命令列举 这里给大家列出来了一部分Sqoop操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码。 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 cod 阅读全文
posted @ 2020-09-14 15:36 架构艺术 阅读(2300) 评论(0) 推荐(0) 编辑
摘要: 脚本打包 使用opt格式的文件打包sqoop命令,然后执行 1) 创建一个.opt文件 $ mkdir opt $ touch opt/job_HDFS2RDBMS.opt 2) 编写sqoop脚本 $ vi opt/job_HDFS2RDBMS.opt export --connect jdbc: 阅读全文
posted @ 2020-09-14 15:34 架构艺术 阅读(183) 评论(0) 推荐(0) 编辑
摘要: HIVE/HDFS到RDBMS $ bin/sqoop export \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 阅读全文
posted @ 2020-09-14 15:33 架构艺术 阅读(170) 评论(0) 推荐(0) 编辑
摘要: $ bin/sqoop import \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 1 \ --hive-impo 阅读全文
posted @ 2020-09-14 15:29 架构艺术 阅读(130) 评论(0) 推荐(0) 编辑
摘要: Sqoop的简单使用案例 4.1.1、RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p123456 mysql> create database company; mysql> create table comp 阅读全文
posted @ 2020-09-14 15:27 架构艺术 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。 最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。请注意, 阅读全文
posted @ 2020-09-14 15:23 架构艺术 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 读取MongoDB的数据导入MySQL 1)在MySQL中创建表 mysql> create table jason(name varchar(20),url varchar(20)); 2)编写DataX配置文件 [jason@hadoop102 datax]$ vim job/mongodb2m 阅读全文
posted @ 2020-09-14 15:14 架构艺术 阅读(2646) 评论(1) 推荐(0) 编辑
摘要: 读取MongoDB的数据导入到HDFS 1)编写配置文件 [jason@hadoop102 datax]$ vim job/mongdb2hdfs.json { "job": { "content": [ { "reader": { "name": "mongodbreader", "paramet 阅读全文
posted @ 2020-09-14 15:12 架构艺术 阅读(2368) 评论(0) 推荐(0) 编辑
摘要: 读取Oracle的数据存入HDFS中 1)编写配置文件 [oracle@hadoop102 datax]$ vim job/oracle2hdfs.json { "job": { "content": [ { "reader": { "name": "oraclereader", "paramete 阅读全文
posted @ 2020-09-14 15:10 架构艺术 阅读(813) 评论(0) 推荐(0) 编辑
摘要: 从Oracle中读取数据存到MySQL 1)MySQL中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table stud 阅读全文
posted @ 2020-09-14 15:07 架构艺术 阅读(615) 评论(0) 推荐(0) 编辑
摘要: Oracle数据库 以下操作使用root账号。 4.1 oracle数据库简介 Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理 阅读全文
posted @ 2020-09-14 15:02 架构艺术 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 从stream流读取数据并打印到控制台 1)查看配置模板 [jason@hadoop102 bin]$ python datax.py -r streamreader -w streamwriter DataX (DATAX-OPENSOURCE-3.0), From Alibaba ! Copyr 阅读全文
posted @ 2020-09-14 10:29 架构艺术 阅读(2078) 评论(0) 推荐(0) 编辑