erygreat

摘要： 1.下载气象数据集 气象数据集下载地址为： ftp://ftp.ncdc.noaa.gov/pub/data/noaa 我们下载国内的气象数据，使用下面命令进行下载 国内气象站ID区间为 详细的可以在《 "1951—2007年中国地面气候资料日值数据集台站信息" 》中查看，不过应该不全。另外《 "S 阅读全文

摘要： 本内容基于hadoop 2.7.2 1. hadoop启动方式 我们执行hadoop安装目录下的sbin/xxx xxx.sh 初始学习阶段可以使用start all.sh启动全部。 2. 通过web了解Hadoop的运行活动 注意：是hadoop2.x，因为hadoop2.x和hadoop1.x配 阅读全文

摘要： 注意：本方法只适用于hadoop2.x 在我们安装之后即使使用jps获取了当前的进程，也未必安装成功，我们实际测试一下。注意关闭防火墙并启动hadoop集群。这里给出简单的测试： 测试成功 阅读全文

摘要： 1. 安装编译库的依赖包 此过程需要联网，切换至root用户，输入下面命令安装依赖包： 解释一下上面依赖包都是做什么的 svn 源码部署的软件 autoconfautomake 编译工具 libtool 编译工具 cmake 编译工具 ncurses devel 编译有关的包 openssl dev 阅读全文

摘要： 试图运行hadoop，提示"libc.so.6: version `GLIBC_2.14' not found",原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的： 17/03/12 08:29:24 DEBUG util.NativeCodeLoader: Failed 阅读全文

摘要： 我们在启动hadoop2.x是可能会有下面这个警告： 这个警告实际上就是不能加载本地库。因为这个错误的原因有很多，因此这里给出一种方案 1. 在hadoop env.sh中加入DEBUG 现在我们无从判定问题在哪里，因此我们在tiny1（master）的hadoop env.sh中加入DEBUG，即 阅读全文