第一次使用sqoop把数据从mysql导入到hadoop报错(坑2)
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
命令如下:
sqoop import \
--connect jdbc:mysql://hadoop001:3306/d6_hive \ --连接的mysql库
--username root --password 123456 \ --登陆mysql的用户名和密码
--delete-target-dir \--删除目标目录的已存在表否则跑mapreduce会报错
--table city_info \--mysql里要导入hadoop 的表名
--hive-import \--导入 (这里的导入导出是以hadoop为出发点)
--hive-table city_info \--导入hive(这里的hive就是hadoop,因为hive是建立在hadoop上的数据仓库)的表名
--hive-overwrite \--覆盖原来的数据
--fields-terminated-by '\t' \ --字段之间的分隔用tab键
--lines-terminated-by '\n' \--行与行之间用回车键
--split-by city_id \--根据city_id来当作主键进行分割
-m 2--生成两个文件
解决方法:
往/etc/.bash_profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
然后刷新配置,source /etc/.bash_profile
然后再执行一次一般就可以了。