随笔分类 - hdfs
摘要：启动的命令：sbinhadoop-daemon.sh start secondarynamenode 镜像文件所在的位置：工作目录/name/curent/fsimage 操作日志操作日志：目录/name/edits_inprogress_000000000001 工作原理图：
阅读全文
摘要：HDFS 读写的入口是哪个节点：namenode 。 HDFS 数据读的流程 判断成功标准：第一台节点成功，认为所有的都成 HDFS 写数据的流程 du
阅读全文
摘要：hadoop 安全模式 时间：每次在启动namenode的时候，都会进入安全模式。 手动启动安全模式 工作：检查块的个数。是否丢失。完成自动退出。 特性：我们没有感觉。 命令： 查看：bin/hadoop dfsadmin -safemode get 进入： bin/hadoop dfsadmin
阅读全文
摘要：Hadoop 发展历史 Apache Nutch 网页抓取互据，数据量达到瓶颈， Google 发表论文 Google FileSystem Apache 根据论文解决问题 Google 发表论文MapReduce Apache 根据论文，写了一套Mapreduce系统，应用到自己的项目 Apach
阅读全文
摘要：数据块 每个磁盘都有默认数据块大小，这个数据块就是磁盘存取得最小得单位。 磁盘块得大小一般为512字节 数据块得大小小于512字节，他得空间也会被占用。 HDSF 数据块 HDFS也有数据块得大小，大小以前为64M，当前得大小为128M 。 如果该块没有存满，不会占用整个数据块得空间。 HDFS 块
阅读全文
