摘要：一、Hadoop的限额与归档以及集群安全模式 ### 高级命令 ~~~ HDFS文件限额配置 ~~~ HDFS文件的限额配置允许我们以文件大小或者文件个数来限制 ~~~ 我们在某个目录下上传的文件数量或者文件内容总量， ~~~ 以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量 ##
阅读全文
摘要：一、日志采集综合案例 ### 日志采集综合案例 ~~~ [日志采集案例之需求分析] ~~~ [日志采集案例之调度功能实现] ~~~ [日志采集案例之调度功能实现] ~~~ [日志采集之采集上传功能实现] ~~~ [日志采集案例之验证及调优] ### 需求分析 ~~~ 定时采集已滚动完毕日志文件 ~~
阅读全文
摘要：一、Fsimage文件内容 ### 官方地址： https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html ### 查看oiv和oev命令 [root@linux121 curr
阅读全文
摘要：一、HDFS读写解析：HDFS读数据流程 ### HDFS读数据流程 ~~~ 客户端通过Distributed FileSystem向NameNode请求下载文件， ~~~ NameNode通过查询元数据，找到文件块所在的DataNode地址。 ~~~ 挑选一台DataNode（就近原则，然后随机）
阅读全文
摘要：一、HDFS元数据管理机制 ### [HDFS分布式文件系统] ~~~ [HDFS元数据管理机制Namenode、Fsimage及Edits编辑日志] ~~~ [HDFS元数据管理机制之2NN及checkpoint机制] ~~~ [HDFS元数据管理机制之Fsimage及Edits文件解析] ~~~
阅读全文
摘要：一、编程代码：使用IO流操作 ### 上传文件 package com.yanqi.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.f
阅读全文
摘要：一、[HDFS之API客户端IO流操作]——[文件上传下载]——[seek读取] ### I/O流操作HDFS ~~~ 以上我们使用的API操作都是HDFS系统框架封装好的。 ~~~ 我们自己也可以采用IO流的方式实现文件的上传和下载。 二、文件上传 ### 文件上传 ~~~ 需求：把本地e盘上的y
阅读全文
摘要：一、上传文件 ### 上传文件 ~~~ [HDFS之API客户端上传下载文件] ~~~ [HDFS之API客户端文件详情及文件类型判断] ~~~ [HDFS分布式文件系统] ### 编写源代码 @Test public void testCopyFromLocalFile() throws IOEx
阅读全文
摘要：一、[HDFS之API客户端解决文件权限问题] ### JAVA客户端：客户端环境准备 ~~~ 将Hadoop-2.9.2安装包解压到非中文路径（例如：E:\hadoop-2.9.2）。 ~~~ 配置HADOOP_HOME环境变量 ~~~ 配置Path环境变量。 ~~~ 在IDEA下创建一个Mave
阅读全文
摘要：一、HDFS之shell命令行客户端：Shell命令行操作HDFS ### 基本语法 ~~~ bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 ### 命令大全 [root@linux121 hadoop-2.9.2]# bin/hdfs dfs Usage: hado
阅读全文
摘要：一、HDFS概念 ### HDFS简介 ~~~ HDFS （全称：Hadoop Distribute File System，Hadoop 分布式文件系统） ~~~ 是 Hadoop 核心组成，是分布式存储服务。 ~~~ 分布式文件系统横跨多台计算机，在大数据时代有着广泛的应用前景， ~~~ 它们为
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、[Hadoop完全分布式集群搭建之集群启动] ### 启动集群注意事项 ~~~ # 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode， ~~~ # 非第一次不用执行格式化Namenode操作！！ 二、单节点启动 ### 所有节点执行 ~~~ 输出这句内容说明格式化
阅读全文
摘要：一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ # 本地hoome目录创建一个文件 [root@linux121 ~]# vim test.txt hello hdfs ~~~ # 创建一个目录 [root@linux1
阅读全文
摘要：一、[Hadoop完全分布式集群搭建之历史日志服务器配置] ### 在Yarn中运行的任务产生的日志数据不能查看， ~~~ 为了查看程序的历史运行情况，需要配置一下历史日志服务器。具体配置步骤如下： ### 配置mapred-site.xml [root@linux121 hadoop]# pwd
阅读全文
摘要：一、[Hadoop完全分布式集群搭建之编写分发脚本] ### 分发配置：rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和
阅读全文
摘要：一、[Hadoop完全分布式集群搭建值环境变量配置]：集群规划 框架 linux121 linux122 linux123 HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode YARN NodeManager NodeManager
阅读全文
摘要：一、[Hadoop完全分布式集群搭建值集群规划实施]：集群配置 ### Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS（修改hadoop-env.sh） ~~~ 指定NameNode节
阅读全文
摘要：一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写，需要java环境（jvm） ~~~ JDK版本：JDK8版本 ### 集群： ~~~ 知识点学习：统一使用vmware虚拟机虚拟三台linux节点，linux操作系统：Ce
阅读全文
摘要：一、[Hadoop重要组成之HAFS/MapReduce/YARN框架] ### Hadoop重要组成之HAFS框架 ~~~ 1、Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块 ~~~ 2、Hadoop HDFS：（Hado
阅读全文
