[数据库] Oracle之数据迁移至HIVE(待续)
step1 导出csv数据,并
call sql_to_csv('select * from BE_JJZKJCQKTJ', 'OUT_PATH', 'DA.BE_JJZKJCQKTJ.csv');
// or python
step2 删表,重新创表 或 清空表
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx 'hive -e "truncate table da.ai_zjycdb;"'
step3 上传csv数据文件到 hive数据库服务器,对非ASCII编码的csv文件转码 (UTF-8 转 GB18030)
sshpass -p 'helloWorld' scp -P 22 -r /root/dataMining/csv/* datamining@10.100.yyy.xxx:/opt/ai/csv/
[附]
file -i fileName
iconv -f GB18030 -t UTF-8 /opt/ai/csv/ai_zjycdb.csv > /opt/da_transfer/ai_zjycdb.csv
step4 对csv文件的数据行的内容,去除引号
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx sed -i 's/"//g' /opt/da_transfer/ai_zjycdb.csv;
step5 加载csv数据到hive数据库
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx hive -e "load data local inpath '/opt/da_transfer/ai_zjycdb.csv' into table ai_zjycdb;"
![QQ沟通交流群](https://blog-static.cnblogs.com/files/johnnyzen/cnblogs-qq-group-qrcode.gif?t=1679679148)
本文作者:
千千寰宇
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!