摘要：
最近在学习hadoop，从一个不知hadoop，大数据，云计算为何物的人，突然间要去研究，一时难以适应，悔恨自己以前算法，数据结构，Java基础，linux怎么都没好好学呢，却偏偏都要用到，真是“书到用时方恨少啊！” 不过，悔恨解决不了问题，事情出了最好能冷静下来取分析当前的情况，并根据当前的情况作出最好的安排,不可否认，移动，大数据，云服务即将成为未来IT业发展的主流，学习hadoop进行大规模数据处理符合当今发展的潮流，所以，我必须花费更多的努力，将必备的知识学好，好好的武装自己。 阅读全文
摘要：
问题一# hadoop fs -ls时出现错误如下：# hadoop fs -ls11/08/31 22:51:39 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).Bad connection to FS. command aborted.解决方案:1. 格式化namenode:# hadoop namenode -format2. 重新启动hadoop# sh stop-all.sh# sh start-all.sh3. 查看后台进程# jps135 阅读全文
摘要：
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序接上一篇文章：Hadoop学习全程记录——hadoop 入门 见 http://www.codesky.net/Linux/2012-01/51990.htm这是Hadoop学习全程记录第2篇，在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。新说明一下我的开发环境：操作系统：在windows下使用wubi安装了Ubuntu 10.10Hadoop版本：hadoop-0.20.2.tar.gzEclipse版本：eclipse-jee-helios-SR1-linux-gtk.tar.gz为了 阅读全文
摘要：
第一步：修改core-site.xml，配置如下内容：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>fs.default.name</name><value 阅读全文
摘要：
1、列出所有Hadoop Shell支持的命令$ bin/hadoop fs -help2、显示关于某个命令的详细信息$ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总$ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看$ bin/hadoop job -history all output-dir5、 格式化一个新的分布式文件系统：$ bin/hadoop nam 阅读全文
摘要：
最近在研究分布式数据，其中用到的就是Hadoop, Ｈadoop网上的资料不多，特别是运行中运行的问题更是找不到，以下是我运行的一点心得，嘻嘻。如果在map/reduce的程序中用到java 的代码，可以在java的环境下写好，我用的是eclipse。１.进入工程目录找到代码，进bin目录，将用到的包打成 .jar 文件。bin 文件下是 .class文件，一定要是bin,不是src文件中的 .java 文件。在ubuntu的打.jar 的命令是 jar -cvfjarname.jar ./*2.将打好的 .jar文件复制到 Hadoop的目录下。3.切换到Hadoop目录下，编译含map/r 阅读全文