随笔分类 -  Sqoop

sqoop优化
摘要:sqoop优化 batch 语法:--batch,指示使用批处理模式执行底层的SQL语句。在导出数据时,该参数能够将相关的SQL语句组合在一起批量执行,也可以使用有效的API在JDBC接口中配置批处理参数 Dsqoop.export.records.per.statement 指定批处理数据条数,可 阅读全文

posted @ 2020-12-27 20:07 嘣嘣嚓 阅读(2179) 评论(0) 推荐(0) 编辑

Sqoop-MySQL导入hive时id为文本解决
摘要:错误如下 解决 修改命令如下 阅读全文

posted @ 2019-05-27 15:37 嘣嘣嚓 阅读(567) 评论(0) 推荐(0) 编辑

Sqoop-问题
摘要:1.权限问题 oozie调用sqoop时报错,解决:改所有者 2.少MySQL驱动包 sqoop时,应该是有的节点没有放mysql驱动连接jar,将mysql驱动包放入/usr/share/java/下(mysql-connector-java.jar) 阅读全文

posted @ 2019-04-15 18:39 嘣嘣嚓 阅读(866) 评论(0) 推荐(0) 编辑

Sqoop-将MySQL数据导入到hive orc表
摘要:sqoop创建并导入数据到hive orc表 查看表结构 sqoop导入数据到已存在的hive orc表 sqoop导入数据(query)到已存在的hive orc表 字段说明 注:若不指定字段类型,MySQL中的varchar数据抽取至hive中也会是varchar类型,但是varchar类型在h 阅读全文

posted @ 2019-04-04 10:14 嘣嘣嚓 阅读(4948) 评论(0) 推荐(0) 编辑

Sqoop-将Hive ORC表导出到MySQL(全量、更新)
摘要:Sqoop-将Hive ORC表导出到MySQL 全量: 更新: 如果允许更新时插入:--update-mode allowinsert 如果只允许更新,不允许插入:--update-mode updateonly 阅读全文

posted @ 2019-03-29 13:50 嘣嘣嚓 阅读(921) 评论(0) 推荐(0) 编辑

Sqoop将MySQL表结构同步到hive(text、orc)
摘要:Sqoop将MySQL表结构同步到hive orc格式的 阅读全文

posted @ 2019-01-30 17:52 嘣嘣嚓 阅读(694) 评论(0) 推荐(0) 编辑

sqoop job 增量导入
摘要:使用sqoop job做增量导入 在执行导入模式为 incremental 的sqoop job 时,sqoop会获取上次导入操作的 –check-column的value值,也就是说使用sqoop job在做增量导入的时候,不用手动指定 --last-value的值但是也有这样的一种情况,sqoo 阅读全文

posted @ 2017-09-27 13:56 嘣嘣嚓 阅读(1601) 评论(0) 推荐(0) 编辑

sqoop job从创建到执行
摘要:在学习sqoop job之前,最好先学习一下sqoop命令的导入导出 sqoop 使用 import 将 mysql 中数据导入到 hive sqoop 使用 import 将 mysql 中数据导入到 hdfs sqoop 使用 export 将 hive 中数据导出到 mysql sqoop j 阅读全文

posted @ 2017-09-26 17:09 嘣嘣嚓 阅读(6125) 评论(0) 推荐(0) 编辑

sqoop导入增量数据
摘要:使用sqoop导入增量数据. 核心参数 --check-column 用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系行数据库中的自增字段及时间戳类似这些被指定的列的类型不能使用任意字符类型,如char、varchar等类型都是不可以的,同时 --check-col 阅读全文

posted @ 2017-09-20 17:30 嘣嘣嚓 阅读(1647) 评论(0) 推荐(0) 编辑

使用 sqoop 将mysql数据导入到hive表(import)
摘要:Sqoop将mysql数据导入到hive表中 先在mysql创建表 插入数据 在hive中创建表,表结构和mysql中一样 开始导入 导入成功后,会在hdfs中产生数据文件 在路径 /user/hive/warehouse/sqoop_test_table 下 hive中查看表数据 完成。 阅读全文

posted @ 2017-09-15 11:31 嘣嘣嚓 阅读(1498) 评论(0) 推荐(0) 编辑

使用 sqoop 将mysql数据导入到hdfs(import)
摘要:Sqoop 将mysql 数据导入到hdfs(import) 1.创建mysql表 插入数据 2.hive 建表 3.使用sqoop将mysql数据导入到hdfs --delete-target-dir:如果目标目录存在则删除。 可在hdfs看到传入的数据 可在hive中查看数据。 使用sqoop将 阅读全文

posted @ 2017-09-13 11:22 嘣嘣嚓 阅读(1076) 评论(0) 推荐(0) 编辑

使用 sqoop 将 hive 数据导出到 mysql (export)
摘要:使用sqoop将hive中的数据传到mysql中 1.新建hive表 2.给hive表添加数据 数据如下1,fz,132,test,133,dx,18 3.将文件上传到hdfs对应目录下 上传成功进入hive 命令行可查看到数据 4.在mysql新建表,表结构和hive中的相同 5.使用sqoop传 阅读全文

posted @ 2017-09-13 10:38 嘣嘣嚓 阅读(6897) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示