关于大数据平台上任务管理的思考

合集 - 朝花夕拾(24)

1.改善软件开发团队的效率的个人经验2023-11-182.C++程序员的成长路径2023-11-183.Java程序员的成长路径2023-11-184.我的大数据之路 - 转岗半年的记录2023-12-275.我的大数据之路 - 生产变更方案的注意事项2023-12-276.我的大数据之路 - 基于HANA构建实时方案的历程2023-12-277.我的大数据之路 - 维表变了怎么办2023-12-278.IPTV SQM的项目总结2023-12-309.2016年全年回顾2023-12-3010.2015年全年回顾2023-12-31

11.关于大数据平台上任务管理的思考2024-01-08

12.听其言，观其行2024-01-0913.2019年全年回顾2024-02-1514.重案组第一季的观后感2024-02-1415.重案组第一季第一集的观后感2024-02-1416.重案组第一季第二集的观后感2024-02-1417.天空之眼的观后感2024-02-1518.2023年全年回顾2024-02-1619.2020年全年回顾2024-02-1620.2021年全年回顾2024-02-1621.2022年全年回顾2024-02-1622.2018年全年回顾2024-02-2223.为什么选择入行分布式存储2024-04-2424.承接新业务时的常见困难和对策2024-04-27

收起

本文于2019年7月16日完成，发布在个人博客网站上。
考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。

---

作业，比如提交一个hive脚本到计算平台上运行，这个脚本宏观上称为一个作业。
任务，比如mapper，reducer等。
资源，比如CPU时间，内存，硬盘IO，网络IO，墙钟等。

期望计算平台提供的信息，比如：

1. 当前有哪些作业在运行。
2. 作业占用的资源。
3. 作业总共使用了哪些运算节点。
4. 指定的作业使用了哪些节点，分别占用了多少资源。
5. 每个节点上分配了哪些任务，分别占用了多少资源。
6. 每个作业有多少stage，分别有多少任务，各占用多少资源。
7. 各分类的排名。
8. 各个mapper，reducer读入的数据量，输出的数据量。
9. 数据表的访问频率，访问数据量。
10. SQL的执行计划。

监控和通知，比如：

1. 针对上述信息，例行发送指标值。
2. 针对上述信息，定义阈值，当超出阈值，发送给指定的群组。
3. 针对上述信息，提供趋势图，供指定人查看。
4. 运行时占用资源多的作业，执行计划，输入数据量，输出数据量等。

日常工作中需要回答的问题：

1. 计算平台的资源使用情况，有什么变化，变化趋势怎么样。
2. 计算平台的资源使用情况是否合理。
3. 计算平台是否需要扩容。
4. 任务的数量，近期是否有什么变化。
5. 任务处理的数据量，输出的数据量，是否有什么变化，变化的特点是什么，是否合乎业务特点。
6. 任务占用的资源，是否有什么变化，变化的特点是什么。
7. 任务运行时，stage，mapper，reducer的数量，使用的资源等，是否有什么变化，变化的特点是什么。
8. 对于给定的某个作业，占用的资源是否充足或者过多。
9. 对于给定的某个作业，对应的代码，是否需要优化，优化空间有多大。

分配资源的原则，充分利用资源，比如：

1. 重点业务，优先保障。
2. 非重点业务，合理安排调度启动时间，控制等待时间和墙钟时间。
3. 监测资源瓶颈，避免争用。
4. 制定扩容计划，及时实施。

有了上述数据，就有了调整资源的依据，减少无效的沟通，提高生活质量。