上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 40 下一页
2021年9月6日
第十三章 HDFS各组件机制
摘要： 一、 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生 阅读全文
posted @ 2021-09-06 14:30 年少纵马且长歌 阅读(130) 评论(0) 推荐(0) 编辑
第十二章 HDFS的读写流程
摘要： 一、HDFS写数据流程 #1.客户端通过Distributed File System模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 #2.NameNode返回是否可以上传。 #3.客户端请求第一个 Block上传到哪几个DataNode服务器上。 #4 阅读全文
posted @ 2021-09-06 14:13 年少纵马且长歌 阅读(86) 评论(0) 推荐(0) 编辑
2021年9月3日
第十一章 HDFS的API操作
摘要： 一、客户端环境准备 #1.下载Hadoop到Windows路径下的依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。 #2.配置HADOOP_HOME环境变量 #3.配置Path环境变量。 注意：如果环境变量不起作用，可以重启电脑试试。 #4.验证Hadoop环境变量是否正常。双击 阅读全文
posted @ 2021-09-03 17:56 年少纵马且长歌 阅读(113) 评论(0) 推荐(0) 编辑
第十章 HDFS的Shell操作
摘要： 一、基本语法 # hadoop fs 具体命令 或者 # hdfs dfs 具体命令 两个是完全相同的。 二、命令大全 [delopy@hadoop102 ~]$ hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <s 阅读全文
posted @ 2021-09-03 16:39 年少纵马且长歌 阅读(64) 评论(0) 推荐(0) 编辑
第九章 HDFS概述
摘要： 一、HDFS产生的背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 二、HDFS的定义 HDFS（Hadoop Distr 阅读全文
posted @ 2021-09-03 12:22 年少纵马且长歌 阅读(55) 评论(0) 推荐(0) 编辑
第八章 Hadoop常见错误及解决方案
摘要： 一、防火墙没关闭、或者没有启动YARN #1.报错信息： *INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.10.102:8032* #2.解决方案 1）关闭防火墙 2）重新启动YARN 二、主机名称配置 阅读全文
posted @ 2021-09-03 11:26 年少纵马且长歌 阅读(1150) 评论(0) 推荐(0) 编辑
2021年9月2日
第十七章 Nginx四层负载均衡
摘要： 一、Nginx四层负载均衡概述 四层负载均衡是基于传输层协议包来封装的（如：TCP/IP），那我们前面使用到的七层是指的应用层，他的组装在四层的基础之上，无论四层还是七层都是指的OSI网络模型。 二、Nginx四层负载均衡应用场景 1.四层+七层来做负载均衡，四层可以保证七层的负载均衡的高可用性；n 阅读全文
posted @ 2021-09-02 22:02 年少纵马且长歌 阅读(693) 评论(5) 推荐(0) 编辑
第三章 Mccann-DBH生产环境部署
摘要： 一、系统优化 # 编写系统优化脚本 [ec2-user@172-31-10-33 ~]$ sudo su - [root@172-31-10-33 ~]$ vi linux_opt.sh #!/usr/bin/bash # Author:jh # Time:2020-12-11 09:03:19 # 阅读全文
posted @ 2021-09-02 21:29 年少纵马且长歌 阅读(75) 评论(0) 推荐(0) 编辑
第七章 Hadoop集群时间同步
摘要： 一、概述 如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 二、需求 找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境 阅读全文
posted @ 2021-09-02 15:34 年少纵马且长歌 阅读(178) 评论(0) 推荐(0) 编辑
第六章 Hadoop常用脚本编写
摘要： 一、Hadoop常用端口说明 端口名称 Hadoop2.x Hadoop3.x NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 NameNode HTTP UI 50070 9870 MapReduce查看执行任务端口 8088 8088 历史服务器通信端 阅读全文
posted @ 2021-09-02 14:41 年少纵马且长歌 阅读(207) 评论(0) 推荐(0) 编辑
上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 40 下一页