02 2024 档案

Hive数据线下导入Mysql
摘要：1.背景 最近在处理一个数据量级在1亿左右的数据，没办法mysql不好处理，只能把数据放到大数据集群进行处理，处理好后再把这亿级数据导入本地Mysql。 2.实践 （1）把需要处理的数据手动传到集群，上传的数据只有一万条左右，经过笛卡尔积以及各种运算后，结果数据条数有一亿左右，文件大小有5G左右。 阅读全文
posted @ 2024-02-01 09:36 人不疯狂枉一生 阅读(80) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示