摘要：
常用命令实操 2.3.1 准备工作 1）启动Hadoop集群（方便后续的测试） [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 2）-he 阅读全文
摘要：
HDFS的Shell操作（开发重点） 2.1 基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 2.2 命令大全 [atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsr 阅读全文
摘要：
3.1 形似神不似的Scrum实施 搞清楚你的问题，搞清楚你需要什么后，也就是痛点，才能有效引导一个新流程框架的落地 >> 俗话说：好的开始是成功的一半。知道为什么引入敏捷，明确要解决的问题是一个好的开始。 >> 俗话说：好的开始是成功的一半。知道为什么引入敏捷，明确要解决的问题是一个好的开始。 3 阅读全文
摘要：
HDFS概述 1.1 HDFS产出背景及定义 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDF 阅读全文
摘要：
2.1 经常被错误解读的敏捷宣言及敏捷原则 >> 先知后行（定义好一切再开始软件开发）的弊端，尽早、持续交付软件增加了开发团队和产品团队（客户）的沟通机会及质量。知行合一的增量开发也能让用户尽早开始使用开发出的有价值的系统功能特性。 >> 最大化地减少不必要工作的艺术——这是敏捷精 >> 1．尽早、 阅读全文
摘要：
常见错误及解决方案 1）防火墙没关闭、或者没有启动YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）IP地址配置错误 4）ssh没有配置好 5）r 阅读全文
摘要：
编写Hadoop集群常用脚本 1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh [atguigu@hadoop102 ~]$ cd /home/atguigu/bin [atguigu@hadoop102 bin]$ vim myhadoop 阅读全文
摘要：
1.4 从“先知后行”到“知行合一” >> 瀑布模式在很多复杂项目上的失败是诱发敏捷运动的最主要原因。任何一个新方法的提出一定是为了解决旧方法中的缺陷，敏捷弥补了以瀑布模式为代表的传统开发的不足。从另外一个角度来讲，敏捷又是我们习惯的做事、学习方式。还记得小学二年级老师如何教你写作文的吗？他会帮你先 阅读全文
摘要：
集群启动/停止方式总结 1）各个模块分开启动/停止（配置ssh是前提）常用 （1）整体启动/停止HDFS start-dfs.sh/stop-dfs.sh （2）整体启动/停止YARN start-yarn.sh/stop-yarn.sh 2）各个服务组件逐一启动/停止 （1）分别启动/停止HDFS 阅读全文
摘要：
配置日志的聚集 日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。 开启日志聚集功能具体步 阅读全文