随笔分类 -  MapReduce

MapReduce 常见问题
摘要：本文记录MapReduce过程中遇到的问题及解决，持续更新。1、运行程序，提示"JobTracker is in safe mode"[huser@master bin]$ ../bin/hadoop jar AvgTemperature.jar AvgTemperature ./in/sample... 阅读全文

posted @ 2014-05-23 21:46 guarder 阅读(2166) 评论(0) 推荐(0)

MapReduce 气象数据集
摘要：通过MapReduce程序分析气象数据集，更好的了解计算过程。环境：Hadoop 1.2.1 & Centos 6.5 x641、气象数据集准备下载链接：ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大，可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS... 阅读全文

posted @ 2014-05-21 23:52 guarder 阅读(1788) 评论(2) 推荐(0)

Maven构建Hadoop开发环境
摘要：本文记录Maven构建Hadoop开发环境软件环境：EclipseKepler x64 & Hadoop 1.2.1 & Maven 3硬件环境：Centos 6.5 x64前提已经安装Maven环境，详见http://www.cnblogs.com/guarder/p/3734309.html1、... 阅读全文

posted @ 2014-05-17 20:47 guarder 阅读(4336) 评论(0) 推荐(0)

Eclipse安装Maven
摘要：在本地使用Maven结合Eclipse搭建开发环境，自动化构建项目。环境：Win7 x64 & Eclipse Kepler x64 & Maven 31、安装Mavenmaven项目主页：http://maven.apache.org/下载安装包apache-maven-3.2.1-bin.zip... 阅读全文

posted @ 2014-05-17 17:35 guarder 阅读(714) 评论(0) 推荐(0)

Ant编译MapReduce程序
摘要：本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce Cookbook》中的示例代码。1、安装AntAnt项目主页：http://ant.apache.org/下载二进制安装包，例如apache-ant-1.9.4-bin.tar.gz，上传到Hadoop集群环... 阅读全文

posted @ 2014-05-11 20:36 guarder 阅读(333) 评论(0) 推荐(0)

MapReduce案例运行
摘要：从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa... 阅读全文

posted @ 2014-05-11 17:15 guarder 阅读(579) 评论(1) 推荐(1)