随笔分类 - azkaban

访问端口总结

摘要：||启动方式|访问端口| |--|--|--| |HDFS|start-dfs.sh|NameNode(9000 API操作；50070 web访问端口)| |||DataNode(50010 dn和nn通信的端口；50075(datanode的web访问端口)| |||snn(50090 snn的阅读全文

posted @ 2022-08-19 12:06 jsqup 阅读(51) 评论(0) 推荐(0) 编辑

11. azkaban将调度结果发送到邮箱

摘要：修改配置文件 [root@node1 conf]# pwd /opt/app/azkaban-3.85.0/web-server/conf [root@node1 conf]# ls azkaban.properties azkaban-users.xml global.properties log 阅读全文

posted @ 2022-08-15 18:41 jsqup 阅读(70) 评论(0) 推荐(0) 编辑

11. azkaban单任务工作调度

摘要：编写脚本文件压缩成zip包，上传至azkaban 阅读全文

posted @ 2022-08-12 18:44 jsqup 阅读(15) 评论(0) 推荐(0) 编辑

10. azkaban配置流程

摘要：下载azkaban后，得通过自己编译得到jar包注意：编译需要很长时间，这儿直接获取了在mysql中执行SQL文件 1、把hive的lib目录下的derby驱动jar包拷贝到web-server，exec-server的lib目录 [root@node1 web-server]# cp /opt 阅读全文

posted @ 2022-08-12 16:03 jsqup 阅读(119) 评论(0) 推荐(0) 编辑

azkaban进阶

摘要：JavaProcess任务类型 command:执行一条shell命令 process:启动一个进程 JavaProcess作业类型案例 1）新建一个azkaban的maven工程 2）创建包名：com.atguigu 3）创建AzTest类 package com.atguigu; public 阅读全文

posted @ 2022-07-22 16:56 jsqup 阅读(33) 评论(0) 推荐(0) 编辑

azkaban案例

摘要：作业依赖案例需求：JobA和JobB执行完了，才能执行JobC nodes: - name: jobA type: command config: command: echo "AAA" - name: jobB type: command config: command: echo "BBB" 阅读全文

posted @ 2022-07-22 16:16 jsqup 阅读(20) 评论(0) 推荐(0) 编辑

yarn的数据格式

摘要：![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220722154613913-1259624103.png) 阅读全文

posted @ 2022-07-22 15:47 jsqup 阅读(37) 评论(0) 推荐(0) 编辑