摘要: Sqoop Export应用场景——直接导出 直接导出 我们先复制一个表,然后将上一篇博文(Sqoop Import HDFS)导入的数据再导出到我们所复制的表里。 运行过程如下: 导入成功后我们再手动查看一下数据库。 上图表示我们的导入是成功的。 指定Map个数 先清除本地数据库数据之后再测试。 阅读全文
posted @ 2018-06-21 22:02 子墨言良 阅读(439) 评论(0) 推荐(0) 编辑
摘要: Sqoop Export数据到本地数据库时出现错误,命令如下: 错误日志如下: 该错误的问题在于分隔符,因为您没有在配置单元表中指定分隔符,默认的配置单元分隔符是: '\ 001'字段终止 '\ 002'的收藏品终止 '\ 003'终止的地图密钥 LINES终止于'\ n' 所以要解决问题,就需要更 阅读全文
posted @ 2018-06-21 21:07 子墨言良 阅读(6366) 评论(0) 推荐(0) 编辑
摘要: Sqoop import应用场景——密码访问 注:测试用表为本地数据库中的表 1.明码访问 2.交互式密码 3.文件授权密码 在运行之前先要在指定路径下创建.password文件。 测试运行之后一定会报以下错误: 为了解决该错误,我们需要将.password文件放到HDFS上面去,这样就能找到该文件 阅读全文
posted @ 2018-06-21 17:07 子墨言良 阅读(621) 评论(0) 推荐(0) 编辑
摘要: 首先查看数据库参数编码: 然后根据命令统一编码格式: 再确定建表时的编码集是否统一(特别是会出现中文的属性值): 如果表的编码格式不统一也要修改。 此时,再重新执行Sqoop Import操作就不会再出现乱码了。 以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来 阅读全文
posted @ 2018-06-21 16:56 子墨言良 阅读(399) 评论(0) 推荐(0) 编辑
摘要: Sqoop 架构 Sqoop 架构是非常简单的,它主要由三个部分组成:Sqoop client、HDFS/HBase/Hive、Database。下面我们来看一下 Sqoop 的架构图。 用户向 Sqoop 发起一个命令之后,这个命令会转换为一个基于 Map Task 的 MapReduce 作业。 阅读全文
posted @ 2018-06-21 15:53 子墨言良 阅读(549) 评论(0) 推荐(0) 编辑
摘要: 环境下载 首先将下载的 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz放到 /usr/hadoop/目录下(该目录可以自定义,一般为Hadoop集群安装目录),然后对安装包解压、修改文件名和修改用户权限。 环境配置 1.配置hadoop版本号 切换到/sqoop 阅读全文
posted @ 2018-06-21 11:43 子墨言良 阅读(316) 评论(0) 推荐(0) 编辑