erygreat

hadoop 2.x安装：不能加载本地库 - 重新编译hadoop本地库

摘要： 1. 安装编译库的依赖包此过程需要联网，切换至root用户，输入下面命令安装依赖包：解释一下上面依赖包都是做什么的 svn 源码部署的软件 autoconfautomake 编译工具 libtool 编译工具 cmake 编译工具 ncurses devel 编译有关的包 openssl dev 阅读全文

posted @ 2017-07-23 10:56 erygreat 阅读(774) 评论(1) 推荐(0) 编辑

hadoop 2.x安装：不能加载本地库 - 解决libc.so.6 version GLIBC_2.14 not found问题

摘要：试图运行hadoop，提示"libc.so.6: version `GLIBC_2.14' not found",原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的： 17/03/12 08:29:24 DEBUG util.NativeCodeLoader: Failed 阅读全文

posted @ 2017-07-23 10:13 erygreat 阅读(3602) 评论(2) 推荐(0) 编辑

hadoop 2.x安装：不能加载本地库 - java.library.path错误

摘要：我们在启动hadoop2.x是可能会有下面这个警告：这个警告实际上就是不能加载本地库。因为这个错误的原因有很多，因此这里给出一种方案 1. 在hadoop env.sh中加入DEBUG 现在我们无从判定问题在哪里，因此我们在tiny1（master）的hadoop env.sh中加入DEBUG，即阅读全文

posted @ 2017-07-23 09:59 erygreat 阅读(2327) 评论(0) 推荐(0) 编辑

hadoop 2.x安装：完全分布式安装

posted @ 2017-07-22 20:53 erygreat 阅读(422) 评论(0) 推荐(0) 编辑

Hadoop1.x安装：关于错误没有到主机的路由

摘要：当我们在名字节点开启hadoop后，我们转到数据节点使用jps查看当前运行的服务时会发现hadoop的相关服务并没有启动，我们查看错误日志会发现启动时出现了错误，启动失败。错误详情：这是由于防火墙没有关闭，我们使用root权限关闭tiny1的防火墙重启hadoop 登陆slave节点查看成功阅读全文

posted @ 2017-07-22 20:40 erygreat 阅读(650) 评论(0) 推荐(0) 编辑

Hadoop1.x安装：完全分布式安装

摘要： thead { background color: A8A8A8; color:white; } 1. 安装环境本文使用三台CentOS6.4虚拟机模拟完全分布式环境。 1.1. 安装环境 |项目|参数| | | | |主操作系统　|　Windows 10 64 bit，8GB内存 | |虚拟软件阅读全文

posted @ 2017-07-22 20:12 erygreat 阅读(126) 评论(0) 推荐(0) 编辑

linux使用：配置SSH免密码登陆

摘要：在应用中我们经常会登陆其他的主机，每次都需要输入用户名和密码。另外在hadoop的使用中也会使用ssh命令去连接其它的主机。我们可以设置SSH免密码登陆来实现其他主机登录该主机是不用输入密码。现在我们有两台测试的linux的虚拟机，我们称之为主机1和主机2。ip分别为192.168.1.101和1 阅读全文

posted @ 2017-07-22 19:17 erygreat 阅读(380) 评论(0) 推荐(0) 编辑

linux使用：SSH概述、在linux下安装SSH命令

摘要：一、IP/TCP协议的不安全性 TCP/IP协议有以明文传输、无法验证通讯方身份等特点因此是不安全的通讯协议。是可以被窃听的，窃听者可以通过解析传输的内容，或者仿造为通讯方等方式来截取什么篡改通讯信息，因此如果通信过程被截取，那么这个通讯过程就暴露了出来。使用TCP/IP协议我们无法辨别信息的安全阅读全文

posted @ 2017-07-22 11:31 erygreat 阅读(2884) 评论(0) 推荐(0) 编辑

linux使用：CentOS安装jdk

摘要：我们需要先下载并解压jdk，注意jdk的下载地址是经常变动的，因此请不要直接用下面的地址下载，下载时请先查看一下地址。 1. 创建java的安装路径 2. 下载jdk 点击 "Java SE Development Kit 8 Downloads" ，点击同意后下载（不同的版本也可以用相同的方式）阅读全文

posted @ 2017-07-21 19:59 erygreat 阅读(188) 评论(0) 推荐(0) 编辑

linux使用：解决克隆虚拟机后UP BROADCAST RUNNING MULTICAST问题

摘要：在使用linux的过程中如果安装了多台虚拟机，并且每台虚拟机都是由上一台虚拟机克隆出来的我们可能会出现联网连不上的问题，在linux的控制台输出ifconfg会出现以下信息：会报 UP BROADCAST RUNNING MULTICAST错误。这是因为mac地址设置的问题，在这里提供一个解决办法阅读全文

posted @ 2017-07-21 19:33 erygreat 阅读(1560) 评论(0) 推荐(0) 编辑