摘要: 一、安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.241.128主机名:admin安装用户:root 二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址:http://www.oracle.com/technetwork/ 阅读全文
posted @ 2017-05-17 14:02 龙昊雪 阅读(3511) 评论(0) 推荐(0) 编辑
摘要: 软件包: hadoop-2.7.2.tar.gz hadoop-eclipse-plugin-2.7.2.jar hadoop-common-2.7.1-bin.zip eclipse jdk1.8.45 hadoop-2.7.2(linux和windows各一份) Linux系统(centos或其 阅读全文
posted @ 2017-05-17 13:52 龙昊雪 阅读(708) 评论(0) 推荐(0) 编辑
摘要: 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 Hadoop]# ./bin/hadoop-daemon.sh 阅读全文
posted @ 2017-05-17 13:45 龙昊雪 阅读(2625) 评论(0) 推荐(0) 编辑
摘要: 1.设置hadoop-env.sh的export HADOOP_CLASSPATH=/home/grid/hadoop-1.2.1/myclass 2.设置JAVA_HOME和ClassPath export PATH=:/home/grid/jdk1.6.0_30/bin export JAVA_ 阅读全文
posted @ 2017-05-17 13:39 龙昊雪 阅读(466) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bashrm ~/log.logecho "Please Input JobID:"read NAMEmap_log="/home/grid/hadoop-1.2.1/logs/userlogs/${NAME}/attempt_${NAME#*job_}_m_000000_0/stdo 阅读全文
posted @ 2017-05-17 13:35 龙昊雪 阅读(376) 评论(0) 推荐(0) 编辑
摘要: 1.从Apache官网上下载1.2.1,地址:http://apache.dataguru.cn/hadoop/common/2.拷贝文件到虚拟机下(vm9下直接拖拽就可以)3.到Hadoop的目录下的conf找到hadoop-env.sh,找到这行:# export JAVA_HOME=/usr/ 阅读全文
posted @ 2017-05-17 13:33 龙昊雪 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 不管是普通用户还是ROOT用户,修改~/.bash_profile文件,在文件最后加上:export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin保存后再执行source ~/.bash_pro 阅读全文
posted @ 2017-05-17 13:32 龙昊雪 阅读(5133) 评论(0) 推荐(0) 编辑
摘要: 经常会有这样的事情发生:在主节点上start-all.sh后,子节点有TaskTracker进程,而没有DataNode进程。环境:1个NameNode 2个DataNode三台机器,Hadoop为1.2.1解决办法: 1.先停止Hadoop,bin/stop-all.sh2.三台机器都把hadoo 阅读全文
posted @ 2017-05-17 13:31 龙昊雪 阅读(4264) 评论(1) 推荐(0) 编辑
摘要: 1.向Hadoop中复制文件,一定要是目录对目录:bin/hadoop fs -put ../input in2.查看Hadoop的文件:bin/hadoop fs -ls ./in3.启动集群:bin/start-all.sh4.关闭集群:bin/stop-all.sh5.杀掉到某个job:had 阅读全文
posted @ 2017-05-17 13:28 龙昊雪 阅读(184) 评论(0) 推荐(0) 编辑
摘要: hadoop下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/ hadoop下载地址 阅读全文
posted @ 2017-05-17 13:25 龙昊雪 阅读(221) 评论(0) 推荐(0) 编辑