hadoop下安装mahout

安装hadoop

完成

安装mahout

首先下载mahout压缩文件apache-mahout-distribution-0.12.2.tar.gz

放到/home/hadoop/software-ljd/下

解压该文件到/home/Hadoop/mahout下:

tar –zxvf apache-mahout-distribution-0.12.2.tar.gz –C /home/Hadoop/mahout/

完成后需要配置环境变量:/etc/profile文件需要新增(maven:非必须,java:必须,hadoop:必须, mahout:必须)如下的配置

###配置maven home

export MAVEN_HOME=/usr/share/maven

export PATH=$PATH:$MAVEN_HOME/bin

### java配置

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

###mahout配置

export MAHOUT_HOME=/home/hadoop/mahout/apache-mahout-distribution-0.12.2

export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf

export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH

 

####配置mahout所需要的hadoop环境

export HADOOP_HOME=/home/hadoop/hadoop-2.7.1

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_HOME_WARN_SUPPRESS=not_null

需要在root下配置,完成后保存,然后 source /etc/profile 立即生效

 

检测mahout是否配置成功

到mahout-home下执行bin/mahout 查看

 

这里需要说明下,当你看到下面的代码时,以为是错的,其实不是,原因:

      MAHOUT_LOCAL:设置是否本地运行,如果设置这个参数就不会运行hadoop了,一旦设置这个参数,那HADOOP_CONF_DIR 和HADOOP_HOME 这两个参数的

      设置就自动失效了。

MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.

hadoop binary is not in PATH,HADOOP_HOME/bin,HADOOP_PREFIX/bin, running locally

 

在hadoop下使用mahout

先启动hadoop

首先下载测试数据

地址:http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

在hadoop下创建testdata目录

bin/hadoop fs -mkdir /testdata(错误,需要创建的为/user/hadoop/testdata)

bin/hadoop fs -mkdir /user/hadoop

bin/hadoop fs -mkdir /user/hadoop/testdata(正确)

查看是否已经创建

bin/hadoop fs –ls /

 

然后把测试数据放到hadoop的testdata中

bin/hadoop fs -put /home/hadoop/software-ljd/data  /user/hadoop/testdata

运行mahout上的kmeans算法:

bin/hadoop jar /home/hadoop/mahout/apache-mahout-distribution-0.12.2/mahout-examples-0.12.2-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

最终运行结果

 

最终生成的文件在hdfs的/user/Hadoop/output/data/part-m-00000中

使用mahout vectordump –i /user/Hadoop/output/data/part-m-00000 –o /home/Hadoop/software-ljd/test.txt

将该文件转换成正常可读文件并存储到本机的文件系统中(输出文件在非hadoop文件系统,但是输入文件需要时hadoop文件系统中的文件

posted @ 2016-12-22 14:42  博学善思。。ljd  阅读(457)  评论(0编辑  收藏  举报