摘要:
1、写一个工具类用来生成 map reduce 实验 所需 input 文件 下面两个是原始文件 matrix1.txt matrix2.txt package com.ghc.hadoop.mapper; import org.apache.hadoop.io.LongWritable; impo 阅读全文
摘要:
原地址忘记了,暂且记下 阅读全文
摘要:
"原文链接" 最近几年IT技术的发展真的是日新月异,什么云计算、大数据、机器学习、AI等等名词层出不穷。多数程序员内心其实是恐慌的,我也时常会感到危机感。每每看到“xx培训,大数据就业,钱景好”我嘴上说不要,身体还是很诚实的。 大数据已经深入我们的生活当中,今天呢我们也不聊4个V(Volume 规模 阅读全文
摘要:
"原文章链接" 什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。 不知道各位大佬对上面的名词了解多少,通过上面的一些名词其实可以大致的看到存储是怎样一步步发展的。其中FAT,NTFS和NFS都是支持特定存储协议的存储系统,DAS,SAN,NAS,OSD是一种存储模 阅读全文
摘要:
"原文章链接" 你肯定听过Hadoop,对就是那头奔跑的小象。 图片描述 Hadoop作为大数据时代代表性的解决方案被大家所熟知,它主要包含两部分内容: HDFS分布式文件存储 MapReduce分布式计算框架 前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题:可扩 阅读全文