摘要: MapReduce计算流程 MapReduce计算流程 1 首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交 2 一个MR程序就是一个Job,Job信息会给Resourcemanger,向Resourcemanger注册信息 3 在注册通过后,Job会拷贝相关的资源信息(从HDF 阅读全文
posted @ 2019-09-21 13:38 小水懒 阅读(824) 评论(0) 推荐(0) 编辑
摘要: 大数据 概述 大数据是新处理模式才能具备更多的决策力,洞察力,流程优化能力,来适应海量高增长率,多样化的数据资产。 大数据面临的问题 怎么存储海量数据(kb,mb,gb,tb,pb,eb,zb) 怎么对数据进行降噪处理(对数据进行清洗,使得数据变废为宝,提取有用的数据,减少不必要的数据资源空间的释放 阅读全文
posted @ 2019-09-21 13:32 小水懒 阅读(313) 评论(0) 推荐(0) 编辑
摘要: 1.2019/9月/20日 加入博客园 来自小小的程序员一枚,希望可以和大家分享知识,共同进步, 生于1999.10.18,山西程序员,高翔,需要交流技术,加我QQ2511666899 每个星期天 更新技术 技术 不一定 但是我会做好每个技术的分享 谢谢大家!谢谢博客园这个平台! 阅读全文
posted @ 2019-09-20 13:00 小水懒 阅读(162) 评论(0) 推荐(0) 编辑