随笔分类 -  大数据

摘要:一,并行度 如果并行度设置的不足,那么就会导致集群浪费。Spark自动会根据文件的大小,是否可分割等因素来设置map的数目(后面会详细讲解输入格式,同时详细讲解各种输入的map数的决定)。对于分布式reduce操作,例如groupbykey和reducebykey,默认它使用的是分区数最大的父RDD 阅读全文
posted @ 2019-07-09 12:38 _XiongH 阅读(280) 评论(0) 推荐(0) 编辑
摘要:大数据整体技术框架 大数据技术框架简单入门知识。所有大数据项目都是遵循这套流程。 阅读全文
posted @ 2019-07-07 16:29 _XiongH 阅读(569) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示