LightCloud -- 分布式键-值数据库

Plurk.com在今年2月28日开源了LightCloud这个分布式的键-值数据库，根据官方网站的信息，有以下特性

•  
  • 基于Tokyo Tyrant（这个项目貌似又是另一个名叫Tokyo Cabinet的数据库系统的网络接口）。Tokyo Tyrant是最快的键-值数据库之一[性能测试]，并且已经开发了好几年并且在n个网站中被应用。
  • 性能非常好（可以和memcached进行对比）
  • 在很少的服务器上面可以存储百万级的数据量
  • 简单的通过添加节点来扩展
  • 节点可以通过master-master复制来进行备份。很容易添加自动错误恢复和负载均衡功能
  • 使用Lua语言进行扩展
  • 备份和恢复数据时不需要关机
  • LightCloud Manager工具可以很方便的管理节点，备份节点，查看状态
  • 非常小巧（客户端大约500行，Manager大约400行）
  • 纯python开发，但是很容易移植到其他语言

和Memcached以及MySql的区别

Memcached是缓存服务器，而LightCloud内存储的数据是持久的（到底是数据库嘛）。

MySql和其他关系数据库服务器存储键-值对时效率不高（肯定没LightCloud这种专用的高）。

和Memcached性能对比

对LightCloud和Memcached做10,000次set和get

Elapsed for 10000 gets: 1.74538516998 seconds [memcache]
Elapsed for 10000 gets: 3.57339096069 seconds [lightcloud]

Elapsed for 10000 sets: 1.88236999512 seconds [memcache]
Elapsed for 10000 sets: 9.23674893379 seconds [lightcloud]

值得注意的一点是Memcached是完全在内存中操作的，而LightCloud是会读写硬盘的。

而Tokyo Tyrant官网提供的数据更加惊人（LightCloud在Tokyo Tyrant上增加了网络和Python语言执行开销）

1 million GETS in < 0.5 seconds

1 million SETS in < 0.5 seconds

使用Lua进行扩展

Lua扩展貌似是由Tokyo Tyrant提供的

下面是一个简单的扩展，扩展出一个incr命令

function incr(key, value)
   value = tonumber(value)
   if not value then
      return nil
   end
   local old = tonumber(_get(key))
   if old then
      value = value + old
   end
   if not _put(key, value) then
      return nil
   end
   return value
end