摘要：win7下安装hadoop完成后，接下来就是eclipse hadoop开发环境配置了。具体的操作如下：一、在eclipse下安装开发hadoop程序的插件安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的 contrib\eclipse-plugin\... 阅读全文

摘要：hadoop-0.20.2自带的eclipse-plugin对版本在3.3以上的eclipse不起作用，在eclipse hadoop开发环境配置中，我用的是第三方编译的eclipse插件，但它也有可能在你的电脑上不起作用，所以自己会编译hadoop-0.20.2的eclipse-plugin很有必... 阅读全文

摘要：启动和关闭Hadoop启动Hadoop1.进入HADOOP_HOME目录。2.执行bin/start-all.sh关闭Hadoop1.进入HADOOP_HOME目录。2.执行bin/stop-all.shHDFS文件文件系统操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。... 阅读全文

摘要：Apache Hadoop 2.0.5-alpha 相比以前发布的稳定版本有了显著的改进。下面是一个简短的概述,包含分布式文件系统(Hadoop Distributed File System)和MapReduce方面的改进。HDFS 联合 为了横向地测量命名服务的,federation采用多重独立的命名节点/命名空间 这些命名节点是federated的，这意味着，这些命名节点是独立的，而且不要求与其他命名节点协同工作。数据节点作为块的公共存储器被所有命名节点使用。在cluster中，每一个数据节点被注册到所有的命名节点上。数据节点会定期发送心跳和块报告到命名节点，并处理来自命名节点的命令。 阅读全文

摘要：一、概述最近开始着手高校云平台的搭建，前些天做了hadoop集群测试环境的安装与配置的经验分享，这篇文章主要介绍win7 64位下 eclipse4.2 连接远程Redhat Linux 5下hadoop-1.2.0集群开发环境搭建二、环境1、window 7 64位2、eclipse 4.23、Redhat Linux 54、hadoop-1.2.0三、安装配置hadoop集群参考我的文章：http://blog.csdn.net/shan9liang/article/details/9841933http://www.jialinblog.com/?p=176四、在Eclipse下安装配置 阅读全文

摘要：hadoop是一个开源分布式计算平台，以hadoop分布式文件系统HDFS和大规模数据分布式编程模型MapReduce为核心。它为用户提供了底部细节透明的分布式基础架构。HDFS的高容错性，高伸缩性等特点允许用户将hadoop部署在低廉的硬件上，形成分布式系统；而MapReduce分布式编程模型允许用户在不了解系统底层细节的情况下开发并行应用程序。再者，配合其他项目（如下图）的使用，使得用户可以利用hadoop轻松地组织计算机资源，利用集群的计算和存储能力，处理海量数据。hadoop主要相关项目，我总结了下面一张图供大家参考：这些子项目的总结会陆续给出！ 阅读全文

摘要：eclipse连接远程hadoop集群开发时报错Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=d, access=WRITE, inode="data":zxg:supergroup:rwxr-xr-xat org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:207)当前登 阅读全文

摘要：一、概述前些日子开始着手高校云平台的搭建，其中涉及很重要的一部分是hadoop集群测试环境的安装与配置，大概用了两天的时间，终于搞定了基本轮廓，把我的经验分享给大家。二、硬件环境1、windows 7 旗舰版 64位2、VMware Workstation ACE 版 6.0.23、Redhat Linux 54、Hadoop-1.2.0WindowsVM虚拟机器LinuxIP作用Window 764位VMware WorkstationRedhat1192.168.24.250NameNode、master、jobTrackerRedhat2192.168.24.249DataNode、sl 阅读全文

摘要：eclipse连接远程hadoop集群开发时报错错误信息：Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700解决方案（经笔者在hadoop1.2.0+jdk1.7下验证通过）：0.安装jdk，ant，并且配置好环境变量安装配置jdk不再多说，ant参考我的文章：http://blog.csdn.net/shan9liang/article/d 阅读全文