摘要: MapReduce计算流程 MapReduce计算流程 1 首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交 2 一个MR程序就是一个Job,Job信息会给Resourcemanger,向Resourcemanger注册信息 3 在注册通过后,Job会拷贝相关的资源信息(从HDF 阅读全文
posted @ 2019-09-21 13:38 小水懒 阅读(829) 评论(0) 推荐(0) 编辑
摘要: 大数据 概述 大数据是新处理模式才能具备更多的决策力,洞察力,流程优化能力,来适应海量高增长率,多样化的数据资产。 大数据面临的问题 怎么存储海量数据(kb,mb,gb,tb,pb,eb,zb) 怎么对数据进行降噪处理(对数据进行清洗,使得数据变废为宝,提取有用的数据,减少不必要的数据资源空间的释放 阅读全文
posted @ 2019-09-21 13:32 小水懒 阅读(313) 评论(0) 推荐(0) 编辑