随笔分类 - 【吗喽的搬砖日常】 / Sqoop
摘要:1、启动Hadoop集群 2、将Sqoop2的安装包上传到合适的目录中解压 tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz 3、修改Hadoop的配置文件core-site.xml <property> <name>hadoop.proxyuser.root.
阅读全文
摘要:Oracle >> HDFS sqoop import --connect jdbc:oracle:thin:@<oracle_host>:<oracle_port>/<database_name> \ --username <username> \ --password <password> \
阅读全文
摘要:将关系型数据库(Oracle、MySQL、PG等)数据与Hadoop数据进行转换的工具。 一、Sqoop1和Sqoop2的区别 Sqoop1由client端直接接入Hadoop,任务通过解析生成对应的MR执行。 Sqoop1拥有以下特点: 仅有一个客户端,架构简单明了,部署即用,使用门槛比较低。 但
阅读全文
摘要:Sqoop1 和 Sqoop2 的区别 # 版本上 Sqoop1: 1.4.x Sqoop2: 1.99.x # 架构上 Sqoop1 使用 Sqoop客户端直接提交的方式(命令、将命令封装在脚本中) Sqoop2 引入了 Sqoop Server,对Connector实现了集中的管理 # 访问方式
阅读全文