分布式处理框架之gearman

gearman 作为一个分布式的处理框架，支持多种语言，能非常方便的进行任务的分发和处理。

下面是gearman的工作流程图：

可以看到，gearman分为worker,client,job server三个部分。worker是具体的任务处理，client进行任务的提交，由gearman提供的job server来进行任务的分发。其中Worker 和 Client的API都提供多种语言的调用。

安装方式：

1.安装job-server

debian: apt-get install gearman-job-server

centos:yum install gearmand-server

2.安装client server的python api

easy_install gearman

3.简单的demo(从网上copy的 嘿嘿)

worker.py

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
# file: worker.py

import os
import gearman
import math

class CustomGearmanWorker(gearman.GearmanWorker):
    def on_job_execute(self, current_job):
        print "开始......"
        print "工作中......"
        print '结束'

        return super(CustomGearmanWorker, self).on_job_execute(current_job)

def task_callback(gearman_worker, job):
    print job.data
    return job.data

new_worker = CustomGearmanWorker(['127.0.0.1:4730','0.0.0.0:4730'])
new_worker.register_task("echo", task_callback)
new_worker.work()

client.py

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
# file: client.py

from gearman import GearmanClient

new_client = GearmanClient(['127.0.0.1:4730'])
current_request = new_client.submit_job('echo', 'foo')
new_result = current_request.result
print new_result

ps:worker.py中注册的多个job server 直接可以使用list

4.查看状态

telnet 127.0.0.1 4730

status      状态

workers    已注册的workers数