2015年9月17日
[bigdata] 使用Redis队列来实现与机器无关的Job提交与执行 （python实现）
摘要： 用例场景： 定时从远程多台机器上下载文件存入HDFS中。一开始采用shell 一对一的方式实现，但对于由于网络或者其他原因造成下载失败的任务无法进行重试，且如果某台agent机器down机，将导致它对应的所有下载服务中断，重新提交下载任务也极为麻烦。故考虑采用redis队列来实现与机器无关的job提... 阅读全文
posted @ 2015-09-17 14:39 【雨歌】 阅读(552) 评论(0) 推荐(0) 编辑