mysql 数据sqoop到hive 步骤
1、hive建表
hive是支持分区的,但是这次建表没有写分区。
CREATE TABLE `cuoti_rpt` ( `COURSE_ID` string, `NAME` string, `PERIOD` string, `USER_ID` string, `SUBJECT_ID` string );
2、opt文件
--connect 连接master节点的数据库。
--username 数据库用户名
--password 数据库密码
--table mysql数据库中的表名
--columns 列名
--hive-overwrite overwrite方式
--hive-table 导入hive的表(最好声明在那个hive数据库)
import --connect "jdbc:mysql://master:3306/test" --username root --password 123456 --table tb_cuoti --columns "COURSE_ID,NAME,PERIOD,USER_ID,SUBJECT_ID" --hive-import --hive-overwrite --hive-table cuoti.cuoti_rpt --hive-drop-import-delims -m 1
3、执行opt文件
sqoop --options-file 目录.opt