jsqup

2022年7月25日

摘要： MRApplicationMaster: 监控中程序运行状态、以及向计算机/RM申请资源的进程 MapTask：负责运行map阶段的计算逻辑 ReduceTask: 负责运行reduce阶段的计算逻辑阅读全文

posted @ 2022-07-25 11:29 jsqup 阅读(30) 评论(0) 推荐(0) 编辑

摘要： 1. 编程 pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema- 阅读全文

posted @ 2022-07-25 11:14 jsqup 阅读(25) 评论(0) 推荐(0) 编辑

2022年7月23日

MapRreduce的编程

摘要： 1. 编程规范 map阶段：map任务的核心代码 reduce阶段：reduce任务的核心代码 Driver驱动类：整合MR程序中的所有资源；Driver会提供代码运行。阅读全文

posted @ 2022-07-23 10:25 jsqup 阅读(15) 评论(0) 推荐(0) 编辑

2022年7月22日

azkaban进阶

摘要： JavaProcess任务类型 command:执行一条shell命令 process:启动一个进程 JavaProcess作业类型案例 1）新建一个azkaban的maven工程 2）创建包名：com.atguigu 3）创建AzTest类 package com.atguigu; public 阅读全文

posted @ 2022-07-22 16:56 jsqup 阅读(31) 评论(0) 推荐(0) 编辑

azkaban案例

摘要：作业依赖案例需求：JobA和JobB执行完了，才能执行JobC nodes: - name: jobA type: command config: command: echo "AAA" - name: jobB type: command config: command: echo "BBB" 阅读全文

posted @ 2022-07-22 16:16 jsqup 阅读(17) 评论(0) 推荐(0) 编辑

yarn的数据格式

摘要： ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220722154613913-1259624103.png) 阅读全文

posted @ 2022-07-22 15:47 jsqup 阅读(36) 评论(0) 推荐(0) 编辑

2022年7月21日

退役数据节点

摘要：在hdfs的namenode所在结点的Hadoop的安装目录的etc/hadoop目录下创建一个dfs.hosts.exclude文件填写dfs需要的退役的节点主机名 [root@node1 hadoop]# pwd /opt/app/hadoop-2.8.5/etc/hadoop [root@n 阅读全文

posted @ 2022-07-21 18:17 jsqup 阅读(30) 评论(0) 推荐(0) 编辑

当集群中的空间不够时，增加结点动态扩容（服役新节点） (在不关机的情况下，增加一台datanode)

摘要：克隆克隆当前的虚拟机修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为192.168.200.225 重新启动网络服务使其生效 systemctl restart network 配置主机名的映射阅读全文

posted @ 2022-07-21 17:57 jsqup 阅读(95) 评论(0) 推荐(0) 编辑

NameNode与SecondaryName工作机制

posted @ 2022-07-21 16:26 jsqup 阅读(31) 评论(0) 推荐(0) 编辑

借助maven项目开发HDFS

摘要： pom.xml文件 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <!-- 引入Hadoop的编程依赖 hadoop-common hadoop-client 版本是统一的都是2.8 阅读全文

posted @ 2022-07-21 12:33 jsqup 阅读(79) 评论(0) 推荐(0) 编辑

公告