摘要: Client(客户端)读取多副本文件过程 RPC—远程过程调用协议 HDFS中的block、packet、chunk 数据存储->读文件 读文件流程分析 数据存储:写文件 写文件流程分析 阅读全文
posted @ 2022-02-11 22:52 赤兔胭脂小吕布 阅读(8) 评论(0) 推荐(0) 编辑
摘要: HDFS Java API 基本流程 导入依赖--Maven仓库的官网(mvnrepository.com) <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dep 阅读全文
posted @ 2022-02-11 22:41 赤兔胭脂小吕布 阅读(19) 评论(0) 推荐(0) 编辑
摘要: HDFS(Hadoop Distributed File System)概述 hdfs架构--主从架构 NameNode secondary namenode 所以说 secondary namenode 并不是我们说的高可用里面的备用主节点,并且在高可用中这个进程是没有的,有其他进程来负责这两个文 阅读全文
posted @ 2022-02-11 21:20 赤兔胭脂小吕布 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 大数据中入门程序--wordcount 在我们学一个编程语言的时候,我们首先会去写他的入门程序--HelloWorld 而在我们大数据中入门程序叫做 wordcount(用于统计单词出现的次数) 在Hadoop中自带了一些示例程序 例如:hadoop-mapreduce-examples-2.7.6 阅读全文
posted @ 2022-02-11 20:13 赤兔胭脂小吕布 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 为什么读、写、执行的权限数字表示是4、2、1 Linux中查看磁盘的使用情况 df -h 修改文件的所属用户 chown 用户名:组名 文件名 chown = change own 添加用户到用户组 usermod -a -G 组名 用户名 阅读全文
posted @ 2022-02-11 20:00 赤兔胭脂小吕布 阅读(43) 评论(0) 推荐(0) 编辑