随笔分类 - 大数据
摘要:设计思想 hadoop2.x启用了主备节点切换模式(1主1备) 当主节点出现异常的时候,集群直接将备用节点切换成主节点 要求备用节点马上就要工作 主备节点内存几乎同步 有独立的线程对主备节点进行监控健康状态 需要有一定的选举机制,帮助我们确定主从关系 我们需要实时存储日志的中间件 ActiveNam
阅读全文
摘要:HDFS 写入数据流程 宏观流程 | No | 步骤 | 详情 | | : | : | : | | 1 | 客户端向HDFS发送写数据请求 | hdfs dfs -put tomcat.tar.gz /bdg/ | | 2 | filesystem通过rpc调用namenode的create方法 |
阅读全文
摘要:安全模式 集群启动时的一个状态 安全模式是HDFS的一种工作状态,处于安全模式的状态下,只向客户端提供文件的只读视图,不接受对命名空间的修改;同时NameNode节点也不会进行数据块的复制或者删除 NameNode启动时 首先将镜像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项
阅读全文
摘要:文件的数据类型 文件有一个stat命令 元数据信息-->描述文件的属性 文件有一个vim命令 查看文件的数据信息 分类 元数据 File 文件名 Size 文件大小(字节) Blocks 文件使用的数据块总数 IO Block 数据块的大小 regular file:文件类型(常规文件) Devic
阅读全文
摘要:Hadoop集群搭建笔记 本文档在最小化安装centos7后的操作。 首先,对于大数据集群提前进行主机名、IP地址、主次服务的规划: node01 :192.168.135.80 NN DN node02 :192.168.135.81 DN node03 :192.168.135.82 DN SN
阅读全文
摘要:Hadoop Model Hadoop Common 基础型功能 Hadoop Distributed File System 负责存放数据 YARN 负责资源的调配 MapReduce 大数据的计算框架 Ozone 数据存放到仓库 Hadoop Submarine 机器学习引擎 分布式文件系统架构
阅读全文