创建cloudera-cdh5本地yum源

 创建cloudera-cdh5本地yum

1目的:

为在centos6.5 搭建cdh5集群,而创建本地yum源。

2 过程:

2.1前提步骤:搭建tomcat web站点

 

参考:

CentOS-6.3安装配置Tomcat-7 - Constantin - 博客园

http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891633.html

 

我的tomcat安装目录:

/usr/local/tomcat7

 

2.2搭建本地yum

 

1.配置CDH5的官方源

使用cloudera的一键包,或手动下载CDH5.repo文件

rpm -Uvh http://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm

wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

mv cloudera-cdh5.repo /ect/yum.repo.d/

2.安装yum工具

yum install -y yum-utils createrepo

 

3.同步CDH5的源

注意,“cloudera-cdh5”应该与/ect/yum.repo.d/下的cdh.repo文件名一致

过程中可能因为连接不好而中断,请在repo sync之前运行,

sudo sysctl -w net.ipv4.tcp_window_scaling=0  来改变TCP连接

 

reposync -r cloudera-cdh5

开始向cloudera-cdh5下载软件包。

这个步骤的执行时间看网络情况,完成看到:

 

4.链接或移动同步的rpm文件夹到前一步的tomcat的能访问的页面下:

mv /etc/yum.repos.d/cloudera-cdh5 /usr/local/tomcat7/webapps/ROOT/cloudera-cdh5

ln -s /etc/yum.repos.d/cloudera-cdh5 /usr/local/tomcat7/webapps/ROOT/cloudera-cdh5

(用软链接的时候,用绝对路径)

5.创建repo

cd /var/www/html/mirrors/cdh/cloudera-cdh5

createrepo .

(参数是当前目录那个点)

 

6.修改指向CDH.repo文件

vi /etc/yum.repo.d/cloudera-cdh5.repo

baseurl=http://crxyum.crxy:8080/cloudera-cdh5/

 

7.验证yum

yum update && yum install hadoop

正确显示hadoop的包即正确

 

8.使用方法

把前面修改后的/etc/yum.repos.d/cloudera-cdh5.repo,替换hadoop集群中对应文件

需要配置/etc/hosts文件来解析crxyum.crxy主机

 

之后再其他主机上安装hadoop软件的时候如:

sudo yum clean all; sudo yum install hadoop-yarn-resourcemanager

 

 

 

 

192.108.1.201 crxyum.crxy

 

参考:

Creating a Local Yum Repository

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_yumrepo_local_create.html#topic_30

 

CentOS 6.5 搭建CDH5 - Beckham008的专栏 - 博客频道 - CSDN.NET

http://blog.csdn.net/beckham008/article/details/17750747

 

Installing CDH 5

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_cdh5_install.html?scroll=topic_4_4_1_unique_2__p_31_unique_2

 

 

2.3问题:

Qes1

Too many levels of symbolic links 问题 - 张贺 - 博客园

http://www.cnblogs.com/gbyukg/archive/2011/11/30/2269582.html

 

Qes2

TOMCAT怎么设置才能访问软连接的文件夹 - ccuzjs的日志 - 网易博客

http://ccuzjs.blog.163.com/blog/static/30438443201111214141180/

 

 

附: 创建cloudera-manager本地yum

 

cd /etc/yum.repo

mkdir cloudera-manager

reposync -r cloudera-manager

createrepo .

ln -s /etc/yum.repos.d/cloudera-manager  /usr/local/tomcat7/webapps/ROOT/cloudera-manager

 

baseurl = http://crxyum.crxy:8080/cloudra-manager/

 

其他补助参考前面。

 

附:使用yum代理

yum配置文件写代理IPport

/etc/yum.conf加入如下内容:http_proxy=http://server:port

最好在/etc/yum.conf增加timeout时间,timeout=55555。自己设置长点就行。

 





posted @ 2014-10-20 16:39  amxuefly  阅读(1693)  评论(0编辑  收藏  举报