作业调度调度平台的几个技术细节
前面我写了一个文章, 作业调度系统的构思, 链接为http://www.cnblogs.com/harrychinese/archive/2011/02/11/One_Batch_Scheduling_System_Design.html , 这篇讲一下几个关键点的技术选择.
1. 跨OS/跨平台的互操作性, 可以采用ssh方式, 可以借鉴fabric的ssh部分
2. 关于cluster failover, Java有Quartz(.Net有Quartz.Net)可以使用, 但python好像没有很好的框架, 在下面的链接中, http://stackoverflow.com/questions/1727138/an-enterprise-scheduler-for-python-like-quartz 给出了另一个方案, DRMAA, 采用Sun的实现Sun Grid Engine, Python可以用drmaa-python(http://code.google.com/p/drmaa-python/)来操纵DRMAA. 其实开源系统 knime 的 cluster-execution也是采用Sun Grid Engine,
3. 对于cron特性的支持, 可以采用APScheduler, (http://pypi.python.org/pypi/APScheduler/1.01)
如果用Jython开发的话, 上述2#和3#都可以Quartz. 现在的问题是, Python还是Jython?
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律