hadoop学习

hadoop：http://www.linuxidc.com/Linux/2015-08/121463.htm

hadoop——ssh配置：hadoop中的ssh无密码登录配置  http://blog.csdn.net/qiuchenl/article/details/7999044

60款与Hadoop和大数据相关的顶级开源工具---  http://www.linuxidc.com/Linux/2015-08/121463p2.htm

apt-get

http://www.cnblogs.com/skyme/archive/2011/10/26/2223984.html

http://www.cnblogs.com/tankaixiong/p/4182560.html

http://blog.csdn.net/z363115269/article/details/38776163

http://blog.csdn.net/lzslywl/article/details/24379717

http://blog.sina.com.cn/s/blog_a94476040101cb2t.html

 

学习hadoop安装参考：

http://blog.sina.com.cn/s/blog_a94476040101cb2t.html

 

linux系统安装yum环境

1、卸载rhel的默认安装的yum包
查看yum包
rpm -qa|grep yum
卸载之
rpm -qa|grep yum|xargs rpm -e --nodeps

2、下载新的yum包
64位linux系统下载安装包
wget http://centos.ustc.edu.cn/centos/5/os/x86_64/CentOS/yum-3.2.22-40.el5.centos.noarch.rpm
wget http://centos.ustc.edu.cn/centos/5/os/x86_64/CentOS/yum-fastestmirror-1.1.16-21.el5.centos.noarch.rpm
wget http://centos.ustc.edu.cn/centos/5/os/x86_64/CentOS/yum-metadata-parser-1.1.2-4.el5.x86_64.rpm
32位linux系统下载安装包
wget http://centos.ustc.edu.cn/centos/5/os/i386/CentOS/yum-3.2.22-40.el5.centos.noarch.rpm
wget http://centos.ustc.edu.cn/centos/5/os/i386/CentOS/yum-fastestmirror-1.1.16-21.el5.centos.noarch.rpm
wget http://centos.ustc.edu.cn/centos/5/os/i386/CentOS/yum-metadata-parser-1.1.2-4.el5.i386.rpm

注意：安装包可能会升级，最后的文件名可以通过最新路径下查看得到，例如：
http://centos.ustc.edu.cn/centos/5/os/x86_64/CentOS/
http://centos.ustc.edu.cn/centos/5/os/i386/CentOS/

然后进行安装
rpm -ivh yum-*
注意：yum和yum-fastestmirror相互依赖，所以同时安装即可。
3、下载yum的配置源
wget http://docs.linuxtone.org/soft/lemp/CentOS-Base.repo 下载到 /etc/yum.repos.d/ 目录下面

4、运行yum makecache生成缓存

 

 

JAVA版本与hadoop关系 

1.卸载老版本java
  rpm -qa|grep jdk
  rpm -e *****
  rm -rf /usr/java
 
2.安装新版本
  注释：
  a)经验证，java 1.7.** ,在执行map/reduce方法时会一直停留在 map 0% ,reduce 0%状态，
    查看日志，会有134，258等信息错误。（与hadoop 0.2.*版本冲突，网上有详细信息）
  b)java 1.6.0.31会在启动hadoop时导致jobtracker，tasktracker进程无法启动;（与hadoop 1.0.1冲突）
  c)java 1.6.0.30当前验证比较好;
  d)以上java版本均下自oracle网站.
 
3. 配置JAVA环境变量
  vi /etc/profile 
  source /etc/profile

 

 

mac 安装
mac ssh 工具， SecureCRT 7.0.2 for mac完美破解版
http://download.csdn.net/download/guolichun/7733069

 

 

go的文件上传，客户端文件上传

http://studygolang.com/articles/2472