随笔分类 -  Hadoop运行

hbase1.2.6完全分布式安装
摘要：环境，参考之前的两篇博文： jdk1.7 hadoop2.6.0 完全分布式 一个master，slave1，slave2，slave3 zookeeper3.4.6 完全分布式 安装与配置：（以下步骤都在master上操作，配置好了之后发送到其他的slave上并稍作环境变量配置即可） 到官网去下载 阅读全文
posted @ 2017-07-12 09:23 K_artorias 阅读(2650) 评论(0) 推荐(0) 编辑
zookeeper3.4.6完全分布式安装
摘要：首先在官网下载zookeeper3.4.6安装包，解压到/usr/local目录下 然后改名为zookeeper。 环境变量配置：sudo vim /etc/profile 添加环境变量如下图 然后进入zookeeper的conf目录，有一个zoo_sample.cfg文件，把它复制重命名为zoo. 阅读全文
posted @ 2017-07-11 16:22 K_artorias 阅读(445) 评论(0) 推荐(0) 编辑
Hadoop2.6.0 完全分布式搭建
摘要：1 搭建这个完全分布式的前提环境： 配置好了jdk环境 配置好了ssh免密码登录（详见我的另外一篇博客，专门说ssh免密码登录） 我这里设置了四台机器，一台做master，另外三台做slave，hosts配置如下 2 hadoop配置(以下的配置只在master上进行，配置好了hadoop之后，再发 阅读全文
posted @ 2017-07-11 12:00 K_artorias 阅读(777) 评论(0) 推荐(0) 编辑
ssh免密码登录配置
摘要：假设两台主机为master和slave，两台主机中要做ssh链接的两个用户名最好相同，否则在之后ssh链接时会比较蛋疼。下面是修改主机名的操作步骤 首先注销掉需要修改用户名的用户（！！必须注销掉），然后最好ctrl+alt+f1进入纯命令行操作，登录root用户，按照顺序做如下操作 passwd 原 阅读全文
posted @ 2017-07-10 11:23 K_artorias 阅读(16968) 评论(0) 推荐(0) 编辑
mysql与hive2.1.1安装和配置
摘要：1.mysql安装 这个安装很简单，是在线安装，只需要按顺序执行一下几个命令就ok了。 （1）sudo apt-get install mysql-server （2）sudo apt-get install mysql-client （3）sudo apt-get install libmysql 阅读全文
posted @ 2017-07-09 14:44 K_artorias 阅读(3649) 评论(0) 推荐(0) 编辑
hbase伪分布式安装
摘要：1、首先去官网下载hbase，我下载的是hbase-1.2.6-bin.tar.gz 2、修改用户对/usr目录的操作权限 sudo chown -R 用户名 ./usr，比如我的当前用户名称为hadoop，则命令为： sudo chown -R hadoop ./usr 3、解压到/usr/loc 阅读全文
posted @ 2017-07-03 19:44 K_artorias 阅读(197) 评论(0) 推荐(0) 编辑
windows下eclipse连接ubuntu伪分布式hadoop2.6.0
摘要：环境： win10 jdk1.7 hadoop2.6.0 linux虚拟机 Ubuntu14.04 首先把安装在Ubuntu上的hadoop2.6.0.tar.gz复制到windows系统上，解压到任意目录下，如我就放在了D:\Hadoop目录下。 1 下载并且配置Ant 下载apache-ant- 阅读全文
posted @ 2017-06-22 10:54 K_artorias 阅读(772) 评论(0) 推荐(0) 编辑
Hadoop2.6.0伪分布式搭建
摘要：环境： 1、Ubuntu14.04 首先要在linux系统上新建一个账户，比如就叫做hadoop，用于专门运行hadoop。 2、配置jdk 我是使用的版本是jdk1.8。 解压：创建/usr/java目录，把下载好了的linux版本的jdk解压到次目录下。 环境变量配置： 命令sudo vim / 阅读全文
posted @ 2017-06-20 14:22 K_artorias 阅读(510) 评论(0) 推荐(0) 编辑
解决hadoop no dataNode to stop问题
摘要：错误原因： datanode的clusterID 和 namenode的 clusterID 不匹配。 解决办法: 1、 打开 hadoop/tmp/dfs/namenode/name/dir 配置对应目录下的 current 目录下的 VERSION 文件，拷贝clusterID；2、 打开 ha 阅读全文
posted @ 2017-06-15 21:43 K_artorias 阅读(2972) 评论(0) 推荐(0) 编辑
hadoop 2.6.0 伪分布式部署安装遇到的问题
摘要：之前读到了一篇关于配置安装hadoop的博文（地址：http://www.powerxing.com/install-hadoop/）能正确安装和运行，但是在网页进行Jobtracker监控时，输入localhost:8088(这里注意，hadoop2.0以后版本的jobtracker接口从5003 阅读全文
posted @ 2017-06-06 16:19 K_artorias 阅读(393) 评论(0) 推荐(0) 编辑
Hadoop执行bin/stop-all.sh时no namenode to stop异常
摘要：1 先关闭hadoop所有服务 命令： bin/stop-all.sh 2 格式化namenode 命令： bin/hadoop namenode -format 3 重新启动所有服务 命令： bin/start-dfs.sh 按照以上步骤操作，问题就解决了。 问题是出在我每次start-all 后 阅读全文
posted @ 2017-06-05 10:29 K_artorias 阅读(275) 评论(0) 推荐(0) 编辑
Hadoop伪分布式安装步骤（hadoop0.20.2版本）
摘要：最近在学习hadoop，自己下了个视频教程，他的教学版本是hadoop0.20.2版本，现在的最新版本都到了3.0了，版本虽然有点老，但是还是学了一下，觉得有借鉴的价值。 不废话了，开始介绍： 先说一下环境：ubuntu14.04，其中要装上ssh open-server服务，装上jdk环境。 伪分 阅读全文
posted @ 2017-06-05 09:45 K_artorias 阅读(2584) 评论(1) 推荐(0) 编辑
《Hadoop基础教程》之初识Hadoop（转载）
摘要：转载自博主：上善若水任方圆http://blessht.iteye.com/blog/2095675 Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的 阅读全文
posted @ 2017-05-26 11:56 K_artorias 阅读(284) 评论(0) 推荐(0) 编辑