文章分类 - hadoop

hadoop05

摘要：HDFS写数据流程-原理： distributed 分布式的；分配客户端创建Distributed FileSystem分布式的文件系统（HDFS默认有本地，伪分布式和全分布式）向NameNode发送请求 NameNode 校验client有没有权限（每个文件都有用户和用户组），没权限则拒绝抛出阅读全文

posted @ 2022-03-11 18:15 迷路小孩阅读(11) 评论(0) 推荐(0) 编辑

hadoop04-hdfs-shell操作和代码操作

摘要：HDFS的shell操作（开发重点）基本语法：hadoop fs 具体命令 / hdfs dfs 具体命令（两种方式完全相同）启动hadoop集群，单启 sbin/start-dfs.sh 也可以命令语法帮助 hadoop fs -help rm -> 查看rm 命令如何使用创建一个名为s 阅读全文

posted @ 2022-03-11 15:48 迷路小孩阅读(79) 评论(0) 推荐(0) 编辑

hadoop03-hdfs的由来、组成、优缺点和使用场景

摘要：HDFS的由来：在没有HDFS之前，假如我们要存储大量的学习视频（100T），一台机器是远远无法存储下的，这个时候，我们就需要用多台服务器去存储，并且记录每台服务器就存了哪些视频，方便以后的获取。由于这种操作方式比较繁琐，于是HDFS诞生了，由它来帮我们处理大数据的存储问题。 HDFS的定义：文阅读全文

posted @ 2022-03-10 23:34 迷路小孩阅读(364) 评论(0) 推荐(0) 编辑

hadoop02-入门面试题

摘要：Hadoop运行模式：本地模式：单机运行，数据存储在local本地，用于测试伪分布式模式：单机运行，数据存储在HDFS，一台服务器模拟分布式环境，用于测试完全分布式模式：多台服务器组成，生产环境使用下面是常见的hadoop基础面试题： Hadoop常用的端口号： 3.x : HDFS Nam 阅读全文

posted @ 2022-03-09 23:27 迷路小孩阅读(33) 评论(0) 推荐(0) 编辑

hadoop01-hadoop是什么，以及hadoop的组成

摘要：Hadoop是什么：海量数据的存储和计算。 GFS --> HDFS Map-Reduce --> MR BigTable --> HBase Hadoop优势：高可靠性：hadoop底层维护多个数据副本，所以hadoop摸个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配阅读全文

posted @ 2022-03-09 18:26 迷路小孩阅读(51) 评论(0) 推荐(0) 编辑