11 2021 档案
摘要:DataNode 6.1 DataNode工作机制 (1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 (2)DataNode启动后向NameNode注册,通过后,周期性(6小时)的向NameNode上
阅读全文
摘要:NameNode和SecondaryNameNode 5.1 NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存
阅读全文
摘要:HDFS写数据流程 4.1.1 剖析文件写入 (1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 (2)NameNode返回是否可以上传。 (3)客户端请求第一个 Block上传到哪几个DataNo
阅读全文
摘要:6.1 再议技术债务 >> 技术债务是修复已上线程序中结构质量问题的成本,如果这些问题不解决,组织清楚其带来的后果:后续升级开发失控或用户操作失灵 >> 常见的债务来源有 >> 进度压力逼迫开发团队走“捷径”,如程序中不写注释,造成后期理解的困难;测试不充分,导致产品中存在操作隐患等。 >> 过早地
阅读全文
摘要:HDFS文件详情查看 查看文件名称、权限、长度、块信息 @Test public void testListFiles() throws IOException, InterruptedException, URISyntaxException { // 1获取文件系统 Configuration
阅读全文
摘要:HDFS文件下载 @Test public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration
阅读全文
摘要:5.1 应对变化的敏捷计划:波浪式的版本规划 >> 这个公式就是要求富士通的产品团队,争取以最小的代价为客户实现最大的价值。这也是敏捷的核心价值之一。 >> 通过MMF,你是在推销产品愿景,最小功能集是给有远见的客户而不是给所有人的。 5.2 Scrum迭代中的管理:频繁反馈,及时调整 >> Scr
阅读全文
摘要:HDFS的API案例实操 3.2.1 HDFS文件上传(测试参数优先级) 1)编写源代码 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {
阅读全文
摘要:HDFS的API操作 3.1 客户端环境准备 1)找到资料包路径下的Windows依赖文件夹,拷贝hadoop-3.1.0到非中文路径(比如d:\)。 2)配置HADOOP_HOME环境变量 3)配置Path环境变量。 注意:如果环境变量不起作用,可以重启电脑试试。 验证Hadoop环境变量是否正常
阅读全文
摘要:4.1 敏捷转型的布局规划 >> 重要布局决策: >> 管理层的主动支持至关重要,他们的期望是什么?通过什么方式、什么渠道向他们汇报敏捷执行情况? 4.3 确定Scrum的角色 >> Scrum of Scrum的一个重要工作就是解耦,在分配用户故事给Scrum团队时,尽可能让每个Scrum团队的工
阅读全文
摘要:常用命令实操 2.3.1 准备工作 1)启动Hadoop集群(方便后续的测试) [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 2)-he
阅读全文
摘要:HDFS的Shell操作(开发重点) 2.1 基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 2.2 命令大全 [atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsr
阅读全文
摘要:3.1 形似神不似的Scrum实施 搞清楚你的问题,搞清楚你需要什么后,也就是痛点,才能有效引导一个新流程框架的落地 >> 俗话说:好的开始是成功的一半。知道为什么引入敏捷,明确要解决的问题是一个好的开始。 >> 俗话说:好的开始是成功的一半。知道为什么引入敏捷,明确要解决的问题是一个好的开始。 3
阅读全文
摘要:HDFS概述 1.1 HDFS产出背景及定义 1)HDFS产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2)HDF
阅读全文
摘要:2.1 经常被错误解读的敏捷宣言及敏捷原则 >> 先知后行(定义好一切再开始软件开发)的弊端,尽早、持续交付软件增加了开发团队和产品团队(客户)的沟通机会及质量。知行合一的增量开发也能让用户尽早开始使用开发出的有价值的系统功能特性。 >> 最大化地减少不必要工作的艺术——这是敏捷精 >> 1.尽早、
阅读全文
摘要:常见错误及解决方案 1)防火墙没关闭、或者没有启动YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2)主机名称配置错误 3)IP地址配置错误 4)ssh没有配置好 5)r
阅读全文
摘要:编写Hadoop集群常用脚本 1)Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver):myhadoop.sh [atguigu@hadoop102 ~]$ cd /home/atguigu/bin [atguigu@hadoop102 bin]$ vim myhadoop
阅读全文
摘要:1.4 从“先知后行”到“知行合一” >> 瀑布模式在很多复杂项目上的失败是诱发敏捷运动的最主要原因。任何一个新方法的提出一定是为了解决旧方法中的缺陷,敏捷弥补了以瀑布模式为代表的传统开发的不足。从另外一个角度来讲,敏捷又是我们习惯的做事、学习方式。还记得小学二年级老师如何教你写作文的吗?他会帮你先
阅读全文
摘要:集群启动/停止方式总结 1)各个模块分开启动/停止(配置ssh是前提)常用 (1)整体启动/停止HDFS start-dfs.sh/stop-dfs.sh (2)整体启动/停止YARN start-yarn.sh/stop-yarn.sh 2)各个服务组件逐一启动/停止 (1)分别启动/停止HDFS
阅读全文
摘要:配置日志的聚集 日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。 注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。 开启日志聚集功能具体步
阅读全文