随笔分类 -  hdfs

1 2 下一页
HDFS-HA搭建
摘要：进程介绍 1. Zkfc(ZKFailoverController)作用： 切换NN状态； 对NN进行心跳保持(监听)，当发现NN active异常，会通知Zookeeper,然后ZK重新选举一个新的NN接管，切换成NN active状态; 2. JournalNode NameNode之间共享数据 阅读全文
posted @ 2022-09-09 09:38 jsqup 阅读(25) 评论(0) 推荐(0) 编辑
访问端口总结
摘要：||启动方式|访问端口| |--|--|--| |HDFS|start-dfs.sh|NameNode(9000 API操作；50070 web访问端口)| |||DataNode(50010 dn和nn通信的端口；50075(datanode的web访问端口)| |||snn(50090 snn的 阅读全文
posted @ 2022-08-19 12:06 jsqup 阅读(51) 评论(0) 推荐(0) 编辑
退役数据节点
摘要：在hdfs的namenode所在结点的Hadoop的安装目录的etc/hadoop目录下创建一个dfs.hosts.exclude文件 填写dfs需要的退役的节点主机名 [root@node1 hadoop]# pwd /opt/app/hadoop-2.8.5/etc/hadoop [root@n 阅读全文
posted @ 2022-07-21 18:17 jsqup 阅读(39) 评论(0) 推荐(0) 编辑
当集群中的空间不够时，增加结点动态扩容（服役新节点） (在不关机的情况下，增加一台datanode)
摘要：克隆 克隆当前的虚拟机 修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为192.168.200.225 重新启动网络服务使其生效 systemctl restart network 配置主机名的映射 阅读全文
posted @ 2022-07-21 17:57 jsqup 阅读(102) 评论(0) 推荐(0) 编辑
NameNode与SecondaryName工作机制
摘要：作用 |组件|作用| | | | |NameNode|1.用于去存储和管理整个HDFS集群的元数据（在namenode中维护了两个文件edits和fsimage） 2.用于管理整个集群的状态及维护数据的一致性| |SecondaryNode|帮助我们NameNode完成相关的元数据的操作| |edi 阅读全文
posted @ 2022-07-21 16:26 jsqup 阅读(35) 评论(0) 推荐(0) 编辑
借助maven项目开发HDFS
摘要：pom.xml文件 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <!-- 引入Hadoop的编程依赖 hadoop-common hadoop-client 版本是统一的 都是2.8 阅读全文
posted @ 2022-07-21 12:33 jsqup 阅读(84) 评论(0) 推荐(0) 编辑
hdfs-javaAPI操作
摘要：创建一个普通的java项目 导入jar包 附：jar包如何来的 代码阶段 上传下载文件 package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; im 阅读全文
posted @ 2022-07-21 09:49 jsqup 阅读(99) 评论(0) 推荐(0) 编辑
hdfs连接、上传文件、下载文件的操作
摘要：package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java. 阅读全文
posted @ 2022-07-21 07:37 jsqup 阅读(1447) 评论(0) 推荐(0) 编辑
关于本地hadoop的配置
摘要：由于实训需要，把之前配置的都删掉了 阅读全文
posted @ 2022-07-20 18:30 jsqup 阅读(17) 评论(0) 推荐(0) 编辑
hadoop操作命令
摘要：两种操作 hadoop fs hdfs dfs 具体的命令查看hdfs dfs --help hdfs和linux本地的命令的操作不同 [root@node1 ~]# hdfs dfs -tail -f /a.txt * ** *** ***** [root@node1 ~]# tail -n 10 阅读全文
posted @ 2022-07-20 18:01 jsqup 阅读(18) 评论(0) 推荐(0) 编辑
关于block大小的修改
摘要：在/opt/app/hadoop-2.8.5/etc/hadoop目录下，修改hdfs-site.xml文件 <property> <name>dfs.block.size</name> <value>26214400</value> </property> # 如果设置块的大小为250M，则设置2 阅读全文
posted @ 2022-07-20 17:44 jsqup 阅读(117) 评论(0) 推荐(0) 编辑
为什么hadoop2.x以后block大小为128M？
摘要：注意：寻址时间不能变，寻址时间为传输时间的1%也不能变。 阅读全文
posted @ 2022-07-20 16:54 jsqup 阅读(37) 评论(0) 推荐(0) 编辑
hadoop文档查看
摘要：![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720160533551-1023057744.png) ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720160541336-808159821.png) ![](https://i 阅读全文
posted @ 2022-07-20 16:31 jsqup 阅读(17) 评论(0) 推荐(0) 编辑
完全分布式搭建
摘要：修改ip地址和主机名 修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为 192.168.200.81 重新启动网络服务使其生效 systemctl restart network 集群规划 |组件|n 阅读全文
posted @ 2022-07-20 15:38 jsqup 阅读(21) 评论(0) 推荐(0) 编辑
Hadoop伪分布环境搭建
摘要：核心配置文件 hadoop-env.sh: hadoop依赖环境配置; core-site.xml ： hadoop 公共运行配置项配置文件： hdfs-site.xml ： hdfs相关配置项配置文件； mapred-env.sh ： mapreduce运行环境配置 mapred-site.xml 阅读全文
posted @ 2022-07-20 11:06 jsqup 阅读(16) 评论(0) 推荐(0) 编辑
mapreduce面试题
摘要：1.mapreduce核心思想 分而治之，先分后和 将一个大的、复杂的工作或任务，拆分成小的任务，并行处理，最终 进行合并 适用于大量复杂的、时效性不高的任务处理场景 Map负责数据拆分map:[k1, v1] → [k2, v2] Reduce负责数据合并 reduce:[k1, (v1, vn. 阅读全文
posted @ 2022-03-10 20:17 jsqup 阅读(387) 评论(0) 推荐(0) 编辑
Hadoop之Shuffle机制详解
摘要：1. 什么是Shuffle机制？ 在Hadoop中数据从Map阶段传递给Reduce阶段的过程就叫Shuffle，Shuffle机制是整个MapReduce框架中最核心的部分。 Shuffle翻译成中文的意思为：洗牌、发牌（核心机制：数据分区、排序、缓存) 2. Shuffle的作用范围 一般把数据 阅读全文
posted @ 2022-03-08 15:57 jsqup 阅读(408) 评论(0) 推荐(0) 编辑
Hadoop框架高可用配置---HA
摘要：1.高可用集群搭建 2.准备安装环境 tar -zxvf hadoop-3.1.2.tar.gz mv hadoop-3.1.2 /opt/ cd /opt/hadoop-3.1.2/etc/hadoop/ 3.修改集群环境 vim hadoop-env.sh # 直接在文件的最后添加 export 阅读全文
posted @ 2022-03-07 13:50 jsqup 阅读(25) 评论(0) 推荐(0) 编辑
Hadoop1.0,2.0,3.0区别
摘要：Hadoop1.x 组成 由Common(公共模块辅助工具)、HDFS(分布式数据存储)、MapReduce(分布式计算+资源调度)组成 简介 其中HDFS由一个NN和多个DN组成，MapReduce有一个JobTracker和多个TaskTracker组成。 在Hadoop1.0中容易造成单点故障 阅读全文
posted @ 2022-03-04 21:34 jsqup 阅读(746) 评论(0) 推荐(0) 编辑
hdfs面试资料结合学习笔记
摘要：1. 写数据读数据 写数据流程 读数据流程 2. 为什么HDFS不支持存储小文件？ 原因 占用NameNode大量的内存和磁盘来存储文件目录和块信息 读取小文件的寻址时间大于读取小文件内容的时间 解决方案 从根源上解决小文件的产生，如从每小时抽取一次修改为每天抽取一次来积累数据量 合并。写一个MR任 阅读全文
posted @ 2022-03-04 19:47 jsqup 阅读(55) 评论(0) 推荐(0) 编辑

1 2 下一页
点击右上角即可分享
微信分享提示