一剑飞虹

道可道非常道,名可名非常名
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

Gearman安装,测试笔记

Posted on 2011-11-07 15:48  greatqn  阅读(2073)  评论(1编辑  收藏  举报

官网:http://gearman.org/

gearman-0.7.0.tgz php扩展
gearman-mysql-udf-0.5.tar.gz
gearmand-0.14.tar.gz  c版的server[还有java,perl版的]
yugene-Gearman-Monitor-ed34347.zip 监控
https://github.com/yugene/Gearman-Monitor 监控

http://baike.baidu.com/view/2926980.htm
http://www.cnblogs.com/cocowool/archive/2011/08/18/2145144.html

跨多种环境部署 Gearman
http://www.ibm.com/developerworks/cn/opensource/os-gearman/index.html
利用开源的Gearman框架构建分布式图片处理平台-张宴
http://blog.s135.com/dips/


Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。
Gearman提供了一种通用的程序框架来将你的任务分发到不同的机器或者不同的进程当中。它提供了你进行并行工作的能力、负载均衡处理的能力,以及在不同程序语言之间沟通的能力。Gearman能够应用的领域非常广泛,从高可用的网站到数据库的复制任务。总之,Gearman就是负责分发处理的中枢系统,它的优点包括:
     开源:Gearman免费并且开源而且有一个非常活跃的开源社区,如果你想来做一些贡献,请点击 。
     多语言支持:Gearman支持的语言种类非常丰富。让我们能够用一种语言来编写Worker程序,但是用另外一种语言编写Client程序。
     灵活:不必拘泥于固定的形式。您可以采用你希望的任何形式,例如 Map/Reduce。
     快速:Gearman的协议非常简单,并且有一个用C语言实现的,经过优化的服务器,保证应用的负载在非常低的水平。
     可植入:因为Gearman非常小巧、灵活。因此您可以将他置入到现有的任何系统中。
     没有单点:Gearman不仅可以帮助扩展系统,同样可以避免系统的失败。

目录

    Gearman 简介
    Gearman运行过程
    Gearman新版本介绍
    安装 Gearman
展开

Gearman 简介
  通常,多语言多系统之间的集成是个大问题,一般来说,人们多半会采用 WebService 的方式来处理此类集成问题,但不管采用何种风格的 WebService,如 RPC 风格,或者 REST 风格,其本身都有一定的复杂性。相比之下,Gearman 也能实现类似的作用,而且更简单易用。
Gearman运行过程
  一个Gearman请求的处理过程涉及三个角色:Client -> Job -> Worker。
  Client:请求的发起者,可以是 C,PHP,Perl,MySQL UDF 等等。
  Job:请求的调度者,用来负责协调把 Client 发出的请求转发给合适的 Work。
  Worker:请求的处理者,可以是 C,PHP,Perl 等等。
  因为 Client,Worker 并不限制用一样的语言,所以有利于多语言多系统之间的集成。
  甚至我们通过增加更多的 Worker,可以很方便的实现应用程序的分布式负载均衡架构。
Gearman新版本介绍
  Gearman 1 月 16 日发布了 c 语言的 0.2 版本,gearman 提供了一个 work 传递其他机器,或者调用其他机器功能的框架,通过 gearman 你可以实现并行的工作,负载均衡处理,调用其他语言的函数。它可以应用在多种场合,从高可用性的 web 服务到数据库复制,换句话说,它是分布式处理的中枢神经。gearman 早期是 sixpart 实现的 perl 语言开发的版本,名字来源于“Manager”,这一框架只负责分发要做的工作,本身并不做任何实际的工作。(这点与 spread toolkit 相同 译者注)。
安装 Gearman
安装 Gearman server and library
  tar zxf gearmand-0.8.tar.gz[1]
  cd gearmand-0.8
  ./configure
  make
  make install
安装 Gearman PHP extension
  tar zxf gearman-0.4.0.tgz
  cd gearman-0.4.0
  phpize
  ./configure
  make
  make install
  编辑 php.ini 配置文件加载相应模块并使之生效:
  extension = "gearman.so"

/www/wdlinux/php/bin/phpize
./configure --with-php-config=/www/wdlinux/php/bin/php-config
make && make install

/www/wdlinux/php/bin/php --info | grep gearman
2. In another terminal, change to this source directory and run:

/www/wdlinux/php/bin/php examples/reverse_worker.php

3. In another terminal, change to this source directory and run:

/www/wdlinux/php/bin/php examples/reverse_client.php

  启动Job:
  gearmand -d
  如果当前用户是 root 的话,则需要这样操作:
  gearmand -d -u root
  缺省会使用 4730 端口,下面会用到。
  注意:如果找不到 gearmand 命令的路径,别忘了用 whereis gearmand 确认。gearmand: /usr/local/sbin/gearmand

以守护进程启动:
gearmand -L 192.168.0.1 -p 4730  -u root -d


编写 Worker
  worker.php 文件内容如下:
  <?php
  $worker= new GearmanWorker();
  $worker->addServer('127.0.0.1', 4730);
  $worker->addFunction('reverse', 'my_reverse_function');
  while ($worker->work());
  function my_reverse_function($job) {
  return strrev($job->workload());
  }
  ?>
设置后台运行 work
  php worker.php &
编写 Client
  client.php 文件内容如下:
  <?php
  $client= new GearmanClient();
  $client->addServer('127.0.0.1', 4730);
  echo $client->do('reverse', 'Hello World!'), "\n";
  ?>
运行 client
  php client.php
  输出:!dlroW olleH
  出于方便的考虑,Worker,Client 使用的都是PHP,但这并不影响演示,实际应用中,你完全可以通过 Gearman 集成不同语言实现的 Worker,Client。或许此时你还想了解前面提到的负载均衡功能:很简单,只要增加多个 Worker 即可,你可以按照 worker.php 的样子多写几个类似的文件,并设置不同的返回值用以识别演示效果。然后依次启动这几个 Worker 文件,并多次使用 client.php 去请求,你就会发现 Job 会把 Client 请求转发给不同的 Worker。
命令行工具
  如果你觉得安装 PHP 之类的东西太麻烦的话,你也可以仅仅通过命令行工具来体验 Gearman 的功能:
  启动 Worker:gearman -w -f wc -- wc -l &
  运行 Client:gearman -f wc < /etc/passwd

--一些意外,我没遇到。
1 program_options需要编译或者引用libs/program_options目录的源代码  
2 编绎时要用g++ -o simple simple.cpp -lboost_program_options -L/usr/local/lib
http://www.cnblogs.com/cocowool/archive/2011/08/18/2144142.html
Linux上安装Boost C++ Libraries
Gearman要依赖于 Boost C++ Libraries 中的 program_options 库,并且需要的版本大于 1.39。笔者的CentOS 5.2 系统中自带的 1.33 不能满足需求,在自己安装的过程中会遇到一些问题,建议参考 Boost 官方手册中的 Easy Build and Install 这部分。

安装Gearman之后,第一次启用可能会遇到 error while loading shared libraries: libgearman.so.1 这个问题。可以用下面的方法解决:
当运行 /usr/local/sbin/gearmand -d 时出现 error while loading shared libraries: libgearman.so.1
运行一下 /sbin/ldconfig -v ,然后再去运行gearman就可以了

ldconfig命令的用途,主要是在默认搜寻目录(/lib和/usr/lib)以及动态库配置文件/etc/ld.so.conf内所列的目录 下,搜索出可共享的动态链接库(格式如前介绍,lib*.so*),进而创建出动态装入程序(ld.so)所需的连接和缓存文件.缓存文件默认为/etc /ld.so.cache,此文件保存已排好序的动态链接库名字列表.
ldconfig通常在系统启动时运行,而当用户安装了一个新的动态链接库时,就需要手工运行这个命令.

需要小心的一件事情是数据的共享。Gearman 不进行所交换数据的任何转换或操作。对于这里使用的简单字符串和整数没有问题,但是不能共享 PHP 中的数组值并期望能在 Java 语言中被理解。对于这种类型的交互,可以使用很多结构化数据标准中的一种,比如 JavaScript Object Notation (JSON) 或 XML。另外,如果您在处理来自数据库的信息,只要共享 ID 或者找到需要处理的数据时要用到的信息即可,或者使用 memcached 这样的透明方法(尽管可能仍然需要 JSON 或等价物)。

-------------
test -z "/usr/local/lib/pkgconfig" || /bin/mkdir -p "/usr/local/lib/pkgconfig"
 /usr/bin/install -c -m 644 support/gearmand.pc '/usr/local/lib/pkgconfig'

Installing shared extensions:     /www/wdlinux/php-5.2.17/lib/php/extensions/no-debug-non-zts-20060613/

/www/wdlinux/php/bin/php examples/reverse_worker.php [可运行多个,实现负载]
/www/wdlinux/php/bin/php examples/reverse_client.php

1.传值一个name,一个序列化参数。

Gearman 的高级特性
在一个 Web 应用程序内可能有许多地方都会用到 Gearman。可以导入大量数据、发送许多电子邮件、编码视频文件、挖据数据并构建一个中央日志设施 — 所有这些均不会影响站点的体验和响应性。可以并行地处理数据。而且,由于 Gearman 协议是独立于语言和平台的,所以您可以在解决方案中混合编程语言。比如,可以用 PHP 编写一个 producer,用 C、Ruby 或其他任何支持 Gearman 库的语言编写 worker。

一个连接客户机和 worker 的 Gearman 网络实际上可以使用任何您能想象得到的结构。很多配置能够运行多个代理并将 worker 分配到许多机器上。负载均衡是隐式的:每个可操作的可用 worker(可能是每个 worker 主机具有多个 worker)从队列中拉出作业。一个作业能够同步或异步运行并具有优先级。

Gearman 的最新版本已经将系统特性扩展到了包含持久的作业队列和用一个新协议来通过 HTTP 提交工作请求。对于前者,Gearman 工作队列保存在内存并在一个关系型数据库内存有备份。这样一来,如果 Gearman 守护程序故障,它就可以在重启后重新创建这个工作队列。另一个最新的改良通过一个 memcached 集群增加队列持久性。memcached 存储也依赖于内存,但被分散于几个机器以避免单点故障。

Gearman 是一个刚刚起步却很有实力的工作分发系统。据 Gearman 的作者 Eric Day 介绍,Yahoo! 在 60 或更多的服务器上使用 Gearman 每天处理 600 万个作业。新闻聚合器 Digg 也已构建了一个相同规模的 Gearman 网络,每天可处理 400,000 个作业。Gearman 的一个出色例子可以在 Narada 这个开源搜索引擎(参见 参考资料)中找到。