随笔分类 - 每日总结
摘要：NN和2NN工作机制 1）第一阶段：NameNode启动 （1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）NameNode记录操作日志，更新滚动日志。 （4）NameN
阅读全文
摘要：HDFS读数据流程 （1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 （2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 （3）DataNode开始传输数据给客户端
阅读全文
摘要：HDFS写数据流程 （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 （4）Na
阅读全文
摘要：HDFS文件和文件夹判断 @Test public void testListStatus() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件配置信息 Configuration configuratio
阅读全文
摘要：HDFS文件详情查看 查看文件名称、权限、长度、块信息 @Test public void testListFiles() throws IOException, InterruptedException, URISyntaxException { // 1获取文件系统 Configuration
阅读全文
摘要：HDFS文件更名和移动 @Test public void testRename() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration = new
阅读全文
摘要：HDFS文件下载 @Test public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration
阅读全文
摘要：HDFS文件上传（测试参数优先级） 1）编写源代码 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configu
阅读全文
摘要：1）-copyToLocal：从HDFS拷贝到本地 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./ 2）-get：等同于copyToLocal，生产环境更习惯用get [atguigu@ha
阅读全文
摘要：1）启动Hadoop集群（方便后续的测试） [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 2）-help：输出这个命令参数 [atgui
阅读全文
摘要：1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDFS定义 HDFS（Hadoop Distrib
阅读全文
摘要：Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器。 MapReduce将计算过程分为两个阶段：Map和Reduce 1）Map
阅读全文
摘要：Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera内部集成了很多大数据框架，对应产品CDH。2008 Hortonworks文档较好，对应产品HDP。2011 Hortonworks
阅读全文
摘要：今天进行了Hbase数据库应用的测试，对Hbase的使用还不熟练，只能实现部分功能。
阅读全文
