随笔分类 - sqoop

sqoop的job工具

摘要：sqoop job： Work with saved jobs 就是将sqoop的某条语句保存为一个job 1.把person表导入到HDFS上，可以使用下面的语句 2.我们现在要把上面的语句保存成为一个job 3.查看可用的job 4.执行person_job来完成导入 5.执行person_jo 阅读全文

posted @ 2016-07-27 14:03 dongdone 阅读(3564) 评论(0) 推荐(0) 编辑

sqoop的eval工具

摘要：eval的作用：Evaluate a SQL statement and display the results，也就是说eval像是一个数据库的客户端工具。一、使用eval来查询表二、使用eval来插入数据其中-e选项和--query选项是一样的阅读全文

posted @ 2016-07-27 13:34 dongdone 阅读(4593) 评论(0) 推荐(0) 编辑

sqoop的codegen工具

摘要：一、codegen工具的使用其中bindir参数指明了生成的class文件，jar包的输出目录 sqoop在进行每一次的导出任务时，都会调用codegen，生成一个java文件，并编译打包成jar，供mapreduce使用。这个java文件包装了一系列的对导出数据的访问接口，我们可以尝试通过对这个阅读全文

posted @ 2016-07-26 22:49 dongdone 阅读(1671) 评论(0) 推荐(0) 编辑

sqoop导出工具

摘要：sqoop的导出工具是把HDFS上文件中的数据导出到mysql中 mysql中的表现在在linux上创建一个文件，并把这个文件上传到hdfs上一、export-dir 使用export-dir来指定导出的目录，会导出该目录下的所有文件。最终的效果可以在mysql中的表体现：二、插入中文乱码问阅读全文

posted @ 2016-07-26 18:04 dongdone 阅读(3853) 评论(0) 推荐(0) 编辑

sqoop导入数据到hive---2

摘要：1.hive-table 从mysql导入数据到hive表中，可以使用--hive-table来指定hive的表名，不指定hive表名，则hive表名与mysql表名保持一致。 hive中的表结构是： 2.create-hive-table工具 create-hive-table工具是依据mysql 阅读全文

posted @ 2016-07-26 15:59 dongdone 阅读(5796) 评论(0) 推荐(0) 编辑

sqoop导入数据到hive

摘要：1.1hive-import参数使用--hive-import就可以将数据导入到hive中，但是下面这个命令执行后会报错，报错信息如下： sqoop import --connect jdbc:mysql://localhost:3306/test --username root --passwo 阅读全文

posted @ 2016-07-22 18:24 dongdone 阅读(31226) 评论(0) 推荐(0) 编辑

sqoop简单import使用

摘要：一、sqoop作用？ sqoop是一个数据交换工具，最常用的两个工具是导入导出。导入导出的参照物是hadoop，向hadoop导数据就是导入。二、sqoop的版本？ sqoop目前有两个版本，1.4.X为sqoop1；1.99.X为sqoop2。两个版本不兼容。三、使用sqoop列出mysql 阅读全文

posted @ 2016-07-22 15:57 dongdone 阅读(30816) 评论(8) 推荐(0) 编辑