摘要：
如何安装Spark和Pyspark构建Spark学习环境【MacOs】 JDK环境 Python环境 Spark引擎 下载地址: "Apache Spark官网" MacOs下一般安装在 /usr/local (也可以安装在别的地方,不管安装在哪, 最终都要指定环境变量) pyspark端 法一 : 阅读全文
摘要：
hive优化 一.小文件简述 1.1. HDFS上什么是小文件? HDFS存储文件时的最小单元叫做Block，Hadoop1.x时期Block大小为64MB，Hadoop2.x时期Block大小为128MB。(在hadoop部署下可以通过dfs.block.size进行设置) 小文件就是指，在HDF 阅读全文