摘要：
Ctrl+Z：撤销 Ctrl+Shift+Z：重做 Ctrl+X：剪贴 Ctrl+C：复制 Ctrl+V：粘贴 Ctrl+Y：删除当前行 Ctrl+D:复制当前行 Ctrl+Shift+J：将选中的行合并成一行 Ctrl+N：查找类文件 Ctrl+Shift+N：查找文件 Ctrl+G：定位到文件某 阅读全文
摘要：
一、map package com.pdd.mapreduce; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; 阅读全文
摘要：
cat /etc/profile >> ~/.bashrc 阅读全文
摘要：
添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop 2.7.2/etc/hadoop目录下创建dfs.hosts文件 [hfx@hadoop102 hadoop 阅读全文
摘要：
随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1. 环境准备 （1）在hadoop104主机上再克隆一台hadoop105主机 （2）修改IP地址和主机名称 sudo vim /etc/sysconfig/networ 阅读全文
摘要：
hdfs文件损坏删除 阅读全文
摘要：
NameNode故障后，可以采用如下两种方法恢复数据
方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；
方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中 阅读全文
摘要：
Namenode中的元数据是存在内存中，提高客户端访问的速度，如果节点挂掉保证数据的安全性，NameNode内存中元数据序列化后形成的文件存储磁盘生成Fsimage, 镜像文件随着元数据的更新会影响效率，不更新会造成数据不一致的问题，所以又生成Edits文件（只进行追加），存放hdfs所有更新操作NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据，edits文件过大会影响效率，需要定期进行FsImage和Edits的合并，所以引入SecondaryNamenode 阅读全文
摘要：
1、读文件 1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面 阅读全文