作业调度调度平台的几个技术细节

前面我写了一个文章, 作业调度系统的构思, 链接为http://www.cnblogs.com/harrychinese/archive/2011/02/11/One_Batch_Scheduling_System_Design.html , 这篇讲一下几个关键点的技术选择.

1. 跨OS/跨平台的互操作性, 可以采用ssh方式, 可以借鉴fabric的ssh部分

2. 关于cluster failover, Java有Quartz(.Net有Quartz.Net)可以使用, 但python好像没有很好的框架, 在下面的链接中, http://stackoverflow.com/questions/1727138/an-enterprise-scheduler-for-python-like-quartz 给出了另一个方案, DRMAA, 采用Sun的实现Sun Grid Engine, Python可以用drmaa-python(http://code.google.com/p/drmaa-python/)来操纵DRMAA. 其实开源系统 knime 的 cluster-execution也是采用Sun Grid Engine,

3. 对于cron特性的支持, 可以采用APScheduler, (http://pypi.python.org/pypi/APScheduler/1.01)

如果用Jython开发的话, 上述2#和3#都可以Quartz. 现在的问题是, Python还是Jython?

posted @   harrychinese  阅读(725)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
阅读排行:
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律
点击右上角即可分享
微信分享提示