摘要：
工作中有一套hadoop集群，该集群也作为对外的nginx服务，用来存储了大量的图片。近期nginx访问经常出现超时访问的情况。查看log，发现原来的report 频率为1小时一次，但是由于report 需要收集datanode 上的block使用情况，（该机的block达到上百万级别），会造成读和写的阻塞。解决方法：<property> <name>dfs.blockreport.intervalMsec</name> <value>86400000</value> <description>Determines blo 阅读全文
2013年1月29日
摘要：
gearman 作为一个分布式的处理框架，支持多种语言，能非常方便的进行任务的分发和处理。下面是gearman的工作流程图：可以看到，gearman分为worker,client,job server三个部分。worker是具体的任务处理，client进行任务的提交，由gearman提供的job server来进行任务的分发。其中Worker 和 Client的API都提供多种语言的调用。安装方式：1.安装job-serverdebian: apt-get install gearman-job-servercentos:yum install gearmand-server2.安装clien 阅读全文
2013年1月28日
摘要：
因为有用到 所以记录一下 呵呵使用SQLAlchemy 这种ORM的方式操作数据库关于ORM的介绍具体可以参见http://en.wikipedia.org/wiki/Object-relational_mappingSQLAlchemy 官网：http://www.sqlalchemy.org/安装方式：从源码包安装或者easy_install SQLAlchemy(不得不说 用包安装真是方便啊 不用自己去安装各种依赖包)安装mysql ap i: apt-get installpython-mysqldb使用的一个demo 1 #!/usr/bin/env python 2 from .. 阅读全文
2013年1月24日
