摘要:
1、首先去oracle官网下载以下安装包(http://www.oracle.com/technetwork/topics/linuxsoft-082809.html) instantclient-basic-linux.x64-11.2.0.3.0.zip instantclient-odbc... 阅读全文
摘要:
前提是安装完成hadoop,默认在namenode上进行并关闭Hadoop的安全模式(hadoop dfsadmin -safemode leave)。配置hosts,确保涉及的主机名均可以解析为ip,由于在hadoop完全分布式模式安装时,已配置,此处省略。Hbase安装与配置: 下载:hbas... 阅读全文
摘要:
在单点模式基础上继续(Linux环境Hbase单机模式安装详解:http://www.cnblogs.com/zhangwenjing/p/3669126.html)修改hbase-env.sh增加HBASE_CLASSPATH环境变量export HBASE-CLASSPATH=/home/gri... 阅读全文
摘要:
Hbase与Hadoop有版本配搭的关系,由于我搭建Hadoop版本为:0.20.2,所以这里使用的是Hbase-0.90.5Hbase安装与配置: 下载:hbase-0.90.5.tar.gz 解压缩:tar -zxvf hbase-0.90.5.tar.gz 重命名:mv hbase-0.... 阅读全文
摘要:
准备工作java JDKCywineclipsehadoop-0.20.2-eclipse-plugin.jar(Hadoop自带eclipse插件,在hadoop\contrib\eclipse-plugin中)安装和配置一、JDK安装和配置 省略二、Cywin安装和配置 可以按照默认的提示安装到自己需要存放的位置,但是在安装时需要注意下面几点: 1、 http://mirrors.sohu.com 2、安装过程中记得选择所需的包,具体请参考下面的图示:Net 下的:openssh,opensslBase 下的:sed (若需要Eclipse,必须sed)Devel ... 阅读全文
摘要:
完全分布模式:正常的Hadoop集群,由多个各司其职的节点构成。安装环境操作平台:VM操作系统:CentOS6.4(关闭防火墙)软件版本:Hadoop-0.20.2、JDK7 集群架构:3个节点--一个Mater,二个Slave。准备工作JDK安装与配置详情请见:http://www.cnblogs.com/zhangwenjing/p/3580726.html安装步骤一、配置hosts文件 修改所有节点的/ect/hosts,使彼此之间都能把主机名解析为ip. vi /ect/hosts 192.168.1.53 master 192.168.1.113 node1 192.16... 阅读全文
摘要:
地址:http://mirrors.hust.edu.cn/apache/ant/binaries/apache-ant-1.9.3-bin.tar.gz使用wget命令下载:wgethttp://mirrors.hust.edu.cn/apache/ant/binaries/apache-ant-... 阅读全文
摘要:
伪分布式模式下,Hadoop将所有进程运行于同一台主机上,但此时Hadoop将使用分布式文件系统,而且各jobs也是由JobTracker服务管理的独立进程。同时,由于伪分布式的Hadoop集群只有一个节点,因此HDFS的块复制将限制为单个副本,其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外,其程序执行逻辑完全类似于完全分布式,因此,常用于开发人员测试程序执行。hadoop的配置共有四种级别:集群、进程、作业和单独操作,前两类由集群管理员负责配置,后面的两类则属于程序员的工作范畴。hadoop的配置文件位于conf目录中,其中的core 阅读全文
摘要:
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。一、JDK安装与配置 详情请见:http://www.cnblogs.com/zhangwenjing/p/3580726.html二、Hadoop安装与配置 1、Hadoop下载与安装 地址:http://mirrors.hust.ed. 阅读全文