mysql 数据sqoop到hive 步骤
1、hive建表
hive是支持分区的,但是这次建表没有写分区。
CREATE TABLE `cuoti_rpt` ( `COURSE_ID` string, `NAME` string, `PERIOD` string, `USER_ID` string, `SUBJECT_ID` string );
2、opt文件
--connect 连接master节点的数据库。
--username 数据库用户名
--password 数据库密码
--table mysql数据库中的表名
--columns 列名
--hive-overwrite overwrite方式
--hive-table 导入hive的表(最好声明在那个hive数据库)
import --connect "jdbc:mysql://master:3306/test" --username root --password 123456 --table tb_cuoti --columns "COURSE_ID,NAME,PERIOD,USER_ID,SUBJECT_ID" --hive-import --hive-overwrite --hive-table cuoti.cuoti_rpt --hive-drop-import-delims -m 1
3、执行opt文件
sqoop --options-file 目录.opt
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步