(一)Sqoop搭建

一.集群规划

Name Master Slave1 Slave2
IP 192.168.2.98 192.168.2.99 192.168.2.100
Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171
Zookeeper版本 3.4.10 3.4.10 3.4.10
Hadoop版本 2.7.3 2.7.3 2.7.3
Hbase版本 1.2.4 1.2.4
1.2.4
Hive版本 2.1.1(客户端Y) 2.1.1(服务端Y) N
Sqoop版本 1.4.7(Y) N N

二.搭建Sqoop

 在已完成此配置的基础上执行以下。tar包链接: https://pan.baidu.com/s/1hwLPI0eUwkpGmP5ROqM6Lw 提取码: k7m3

 安装之前得先搭建Zookeeper全分布式Hadoop全分布式Hbase全分布式Hive远程模式

主节点Master上执行
#
mkdir /usr/sqoop 建立目录 # tar -zxvf /opt/soft/sqoop-1.4.7.bin.tar.gz -C /usr/sqoop/ 解压目录 # cp /opt/soft/mysql-connector-java-5.1.47-bin.jar /usr/sqoop/sqoop-1.4.7.bin/lib/ 拷贝 # vim /etc/profile 添加Sqoop环境变量 – 保存退出 export SQOOP_HOME=/usr/sqoop/sqoop-1.4.7.bin export PATH=$PATH:$SQOOP_HOME/bin # source /etc/profile # sqoop version 验证有sqoop版本则通过 # cd /usr/sqoop/sqoop-1.4.7.bin/conf/ 进入 # cp sqoop-env-template.sh sqoop-env.sh & vim sqoop-env.sh 复制并进入修改hadoop(两项)\hbase\hive\zookepper五个路径 export HADOOP _COMMON_HOME=/usr/hadoop/hadoop-2.7.3 export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.7.3 export HBASE_HOME=/usr/hbase/hbase-1.2.4 export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin export ZOOCFGDIR=/usr/zookeeper/zookeeper-3.4.10 # 测试sqoop连接MySQL有提示则输MySQL之前设置的密码 # sqoop list-databases --connect jdbc:mysql://slave2:3306/ --username root -P 语句

posted @ 2020-06-26 15:05  九五二七_唐伯虎  阅读(270)  评论(0编辑  收藏  举报