03 2020 档案
摘要：MapReduce程序开发 1、Demo：WordCount单词计数 分析WordCount程序数据处理的过程（非常重要）2、开发自己的WordCount程序 开发一个MapReduce：求每个部门的工资总额3、MapReduce的一些高级特性 （1）序列化：类似Java的序列化 （2）排序：默认排
阅读全文
摘要：HDFS的集群 集群的两大功能：负载均衡，高可用(失败迁移)（1）NameNode联盟（Federation） > HDFS（2）HA: HDFS、Yarn、HBase、Storm、Spark > 都需要ZooKeeper
阅读全文
摘要：1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字（name）数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额，创建文件和目录将会失败。配额与重
阅读全文
摘要：HDFS的安全模式 (*)安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。如果 HDFS 处于安全模式，则表示 HDFS 是只读状态。 (*)当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据 块的完整性。假设我们设置的副本数（即参数 dfs.replicat
阅读全文
摘要：快照 快照snapshots是HDFS文件系统的只读的基于某时间点的拷贝，可以针对某个目录，或者整个文件系统做快照。快照比较常见的应用场景是数据备份，以防一些用户错误或灾难恢复。 （*）默认：HDFS的快照是禁用的（*）第一步：管理员开启某个目录的快照功能[-allowSnapshot <snaps
阅读全文
摘要：回收站 （*）默认，HDFS的回收站是关闭（*）启用回收站：参数 > core-site.xml添加fs.trash.interval来配置时间阀值，例如：（*）删除文件时，其实是放入回收站/trash（*）回收站里的文件可以快速恢复hdfs dfs -cp /user/root/.Trash/Cu
阅读全文
摘要：package demo; import java.io.FileOutputStream; import java.io.InputStream; import java.io.OutputStream; import java.util.Arrays; import org.apache.had
阅读全文
摘要：使用JavaAPI上传下载数据 1.新建一个java文件，将示例代码写入其中。2.运行Test。3.在hdfs中查看是否上传成功：hdfs dfs -ls /folder14.下载操作类似 文件上传/下载的两种方法： 法1：利用java.io流操作 法2：利用hadoop.io.IOUtils流操作
阅读全文
摘要：package demo; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.
阅读全文
摘要：6-3 通过命令行操作HDFS 命令行 （1）普通操作命令： hdfs dfs ****** 命令 -mkdir：在HDFS上创建目录 hdfs dfs -mkdir /aaa hdfs dfs -mkdir /bbb/ccc 如果父目录不存在，使用-p参数先创建父目录 -ls 查看HDFS的某个目
阅读全文
摘要：通过WebConsole操作HDFS Web Console：端口50070在浏览器访问：192.168.0.11:50070 需要注意的地方： Overview中的 Datanode（由于是为分布模式，所以只有一个DataNode） Startup Progress 启动HDFS的过程
阅读全文
摘要：<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <meta http-e
阅读全文
