11 2019 档案
摘要:背景:hadoop版本为3.1.3, 且以伪分布式形式安装,hive版本为3.1.2,hive为hadoop的一个客户端。 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bin.tar.gz,并解压缩 (2) 进入conf配置文件夹,将hive-env.sh.templat
阅读全文
摘要:本文参考: a. https://www.jianshu.com/p/c46bfaa5dd15 1. shuffle及历史简介 shuffle,即"洗牌",所有采用map-reduce思想的大数据计算框架的必经及最重要的阶段。顾名思义,其处于map与reduce之间,可分为2个子阶段: a. shu
阅读全文