随笔分类 -  MapReduce

MapReduce 常见问题
摘要:本文记录MapReduce过程中遇到的问题及解决,持续更新。1、运行程序,提示"JobTracker is in safe mode"[huser@master bin]$ ../bin/hadoop jar AvgTemperature.jar AvgTemperature ./in/sample... 阅读全文

posted @ 2014-05-23 21:46 guarder 阅读(2149) 评论(0) 推荐(0) 编辑

MapReduce 气象数据集
摘要:通过MapReduce程序分析气象数据集,更好的了解计算过程。环境:Hadoop 1.2.1 & Centos 6.5 x641、气象数据集准备下载链接:ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大,可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS... 阅读全文

posted @ 2014-05-21 23:52 guarder 阅读(1760) 评论(2) 推荐(0) 编辑

Maven构建Hadoop开发环境
摘要:本文记录Maven构建Hadoop开发环境软件环境:EclipseKepler x64 & Hadoop 1.2.1 & Maven 3硬件环境:Centos 6.5 x64前提已经安装Maven环境,详见http://www.cnblogs.com/guarder/p/3734309.html1、... 阅读全文

posted @ 2014-05-17 20:47 guarder 阅读(4321) 评论(0) 推荐(0) 编辑

Eclipse安装Maven
摘要:在本地使用Maven结合Eclipse搭建开发环境,自动化构建项目。环境:Win7 x64 & Eclipse Kepler x64 & Maven 31、安装Mavenmaven项目主页:http://maven.apache.org/下载安装包apache-maven-3.2.1-bin.zip... 阅读全文

posted @ 2014-05-17 17:35 guarder 阅读(704) 评论(0) 推荐(0) 编辑

Ant编译MapReduce程序
摘要:本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce Cookbook》中的示例代码。1、安装AntAnt项目主页:http://ant.apache.org/下载二进制安装包,例如apache-ant-1.9.4-bin.tar.gz,上传到Hadoop集群环... 阅读全文

posted @ 2014-05-11 20:36 guarder 阅读(318) 评论(0) 推荐(0) 编辑

MapReduce案例运行
摘要:从《Hadoop权威指南》选取了一个小案例,在Hadoop集群环境中运行。1、新建JAVA类,保存书中源代码。[huser@master bin]$ vi URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa... 阅读全文

posted @ 2014-05-11 17:15 guarder 阅读(563) 评论(1) 推荐(1) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

点击右上角即可分享
微信分享提示