2021年1月10日
hive优化3-map\reduce\shuffle\output等多阶段参数调优
摘要： map阶段 1.hive.vectorized.execution.enabled 默认false. map方法逐行处理数据，开启之后hive构造一个批量输入的数组，一次处理1万条数据。(数据量不大，或计算不复杂是不是没必要开启？ MapReduce只支持map端向量化执行，TEZ和SPARK支持m 阅读全文
posted @ 2021-01-10 15:34 foolangirl 阅读(1843) 评论(0) 推荐(0) 编辑
Spark学习小记-（4）jupyter连接pyspark操作hdfs及hive
摘要： 先在我的集群上安装python3： [root@hadoop02 module]# yum install python3 再安装jupyter： pip3 install jupyter -i http://pypi.douban.com/simple --trusted-host pypi.do 阅读全文
posted @ 2021-01-10 02:11 foolangirl 阅读(2939) 评论(1) 推荐(0) 编辑