随笔分类 -  大数据平台

python利用M/R实现wordcount
摘要：Map阶段 Reduce阶段 阅读全文
posted @ 2019-03-14 16:15 光彩照人 编辑
hive
摘要：一、hive概述 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应 阅读全文
posted @ 2019-03-14 15:42 光彩照人 编辑
spark作业提交参数设置(转)
摘要：摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7.spark.shuffle.memor 阅读全文
posted @ 2018-04-10 10:12 光彩照人 阅读(1191) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示