Hadoop点滴-初识MapReduce（1）
摘要：
export HADOOP_CLASSPATH=hadoop-examples.jar hadoop MaxTemperature（类名） input/ncdc/sample.txt（参数一，输入文件路径，本地文件系统） output（参数二，输出文件路径，本地文件系统） 阅读全文
posted @ 2018-04-06 22:53 手握太阳 阅读(117) 评论(0) 推荐(0) 编辑
Hadoop点滴-外围概念
摘要：
有句话说的好“大数据胜于好算法” 硬盘存储容量在不断提升的同时，访问速度（硬盘数据读取速度）却没有同步增长；1990年，访问全盘需要5分钟，20年后，需要2.5小时 不同的业务大数据，存储在一套HDFS上，但常常分析工作是在不同时间点进行的，所以彼此之间干扰并不太大 MP每次查询数据需要处理整个数据集，看是采用了一种蛮力方法，但却反映了它的能力 MP更适合那种没有用户在现场等待查询结果的离线使... 阅读全文
posted @ 2018-04-06 21:44 手握太阳 阅读(151) 评论(0) 推荐(0) 编辑