随笔分类 -  Hadoop兴趣学习笔记

Hadoop运行中遇到的错误调试
摘要：在运行Hadoop的过程中遇到的最多的问题就是DataNode不能正常的启动，各种问题都有可能，说一下我遇到的两种情况：（1）第一种情况是Master的防火墙没有关闭。这样在启动Hadoop的时候，Master这个节点可以正常的启动，但是Master的防火墙开启以后，使得Slave不能访问Maste... 阅读全文
posted @ 2015-04-22 15:00 stemon 阅读(249) 评论(0) 推荐(0) 编辑
Hadoop学习笔记（4）hadoop集群模式安装
摘要：具体的过程参见伪分布模式的安装，集群模式的安装和伪分布模式的安装基本一样，只有细微的差别，写在下面：修改masers和slavers文件：在hadoop/conf文件夹中的配置文件中有两个文件masters和slavers两文件，分别记录物理机器的主节点和从节点。分别以文本格式把主节点和从节点的名字... 阅读全文
posted @ 2015-03-11 17:33 stemon 阅读(185) 评论(0) 推荐(0) 编辑
Linux中ssh的免密码登陆
摘要：原理：Hadoop的各个节点要实时的进行各种通信的，ssh就是能让各个节点免密码的相互访问相互通信。操作步骤：这里用的加密方式是非对称的加密方式，具体的操作是：执行命令ssh-keygen –t rsa产生秘钥，产生的秘钥默认位于~/.ssh文件夹中。把公钥拷贝给别人后，要重新命名为authoriz... 阅读全文
posted @ 2015-03-11 17:17 stemon 阅读(281) 评论(0) 推荐(0) 编辑
Hadoop学习笔记（3）hadoop伪分布模式安装
摘要：为了学习这部分的功能，我们这里的linux都是使用root用户登录的。所以每个命令的前面都有一个#符号。伪分布模式安装步骤：关闭防火墙修改ip地址修改hostname设置ssh自动登录安装JDK安装hadoop1. 关闭防火墙具体的操作过程参见博文：我用过的Linux命令--关闭防火墙2. 修改ip... 阅读全文
posted @ 2015-03-04 16:10 stemon 阅读(209) 评论(0) 推荐(0) 编辑
Hadoop学习笔记（2）hadoop框架解析
摘要：Hadoop是适合大数据的分布式存储与计算平台HDFS的架构：主从式结构主节点只有一个NameNode，从节点可以有很多个DataNode。NameNode负责：(1)接收用户操作请求(2)维护文件系统的目录结构(3)管理文件与block之间关系，block与DataNode之间联系DataNode... 阅读全文
posted @ 2015-03-04 15:07 stemon 阅读(267) 评论(0) 推荐(0) 编辑
Hadoop学习笔记（1）概述
摘要：写在学习笔记之前的话：寒假已经开始好几天了，似乎按现在的时间算，明天就要过年了。在家的这几天，该忙的也都差不多了，其实也都是瞎忙。接下来的几点，哪里也不去了，静静的呆在家里学点东西。所以学习一下Hadoop的相关知识，跟自己的研究方向毛关系没有啊，就当自己的兴趣爱好吧。学习目标：（1）掌握Hadoo... 阅读全文
posted @ 2015-03-04 11:44 stemon 阅读(188) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示