Hadoop的namenode的管理机制，工作机制和datanode的工作原理
摘要：HDFS前言： 1） 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 2）在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 3）重点概念：文件切块，副本存放，元数据 4
阅读全文
posted @
2017-09-03 16:58
别先生
阅读(867)
推荐(0) 编辑
hadoop集群运行jps命令以后Datanode节点未启动的解决办法
摘要：出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。 1：其实网上已经有解决办法了，这里自己脑补一下，也可以
阅读全文
posted @
2017-09-01 15:26
别先生
阅读(4042)
推荐(0) 编辑
Hadoop Shell命令（基于linux操作系统上传下载文件到hdfs文件系统基本命令学习）
摘要：Apache-->hadoop的官网文档命令学习：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令
阅读全文
posted @
2017-09-01 14:52
别先生
阅读(40132)
推荐(1) 编辑
hadoop伪分布式集群搭建与安装（ubuntu系统）
摘要：1：Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2：使用Xsheel软件远程链接自己的虚拟机，方便操作。输入自己ubuntu操作系统的账号密码之后就链接成功了； 3：修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /e
阅读全文
posted @
2017-06-16 20:12
别先生
阅读(5376)
推荐(2) 编辑
Linux学习笔记（Ubuntu操作系统）之hadoop学习之路
摘要：1：检查虚拟机的ip命令：ifconfig 2：普通用户切换root用户命令：su 3：root用户切换普通用户命令：su 用户名 4：普通用户执行系统执行前面加命令：sudo 5：查询主机名命令：hostname或uname –n 6：修改主机名命令：vi /etc/hostname（hostna
阅读全文
posted @
2017-06-16 10:14
别先生
阅读(979)
推荐(0) 编辑
