摘要: 场景:最近接到领导的任务,导出近百万的车辆数据,其中要经过三个接口的处理,导致一辆车最少需要1.17秒,按这种情况推算,1000000 * 1.17 / 3600 = 325 小时。。 思路 :当数据库查询结果集数量过大时,必使用多线程,并且根据手头服务器的配置,规划多线程的线程数。考虑到写入文件数 阅读全文
posted @ 2021-06-04 09:40 蔡徐坤1987 阅读(358) 评论(0) 推荐(0) 编辑
摘要: 在impala-shell之前执行 impala-shell -f hz.txt -B --output_delimiter="\t" -o hz_result.txt hz.txt -- 将SQL保存在这个文本文件里,并放在 “/” 默认路径下。 hz_result.txt --执行结果,前提将空 阅读全文
posted @ 2021-06-04 09:20 蔡徐坤1987 阅读(219) 评论(0) 推荐(0) 编辑