key-list类型内存数据引擎介绍及使用场景
“互联网数据目前基本使用两种方式来存储，关系数据库或者key value。但是这些互联网业务本身并不属于这两种数据类型，比如用户在社会化平台中的关系，它是一个list，如果要用关系数据库存储就需要转换成一种多行记录的形式，这种形式存在很多冗余数据，每一行需要存储一些重复信息。如果用key value存储则修改和删除比较麻烦，需要将全部数据读出再写入”—sina @timyang
key-value实现list功能
如果用key-value中的value存储list,只能实现最简单的列表功能(按照id或时间先后排序,例如使用memcache的append或prepend协议).其他list操作只能靠客户端操作,性能很差,如果数据量较大,操作时间是无法接受的,并发也会遇到巨大挑战).
我们目前在使用的mighty(内部研发)持久层框架对list的操作就是基于memcache的append prepend协议实现对id列表的简单操作,满足了大多简单列表的场景.缺点是当影响排序的更新操作较多时cache的命中率会下降的很厉害.
什么是key-list
key-list系统key对应的"value”是一个list(eg.set list),可以对list中的单个item进行操作,理想的key-list需要如下特点:
1.list可以是海量的、且操作性能高效
2.list是可以是有序的、且可动态调整顺序
使用场景
论坛中的主题列表、回复列表
微博中的用户关注列表、用户feed列表、用户关注feed列表
最近访问列表
集合操作:求交集 并集 差集(sdiff sinter sunion)
好友推荐
排行榜
开源的key-list系统
redis
Redis is an open source, advanced key-value store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sorted sets.
redis也被我列入到key-list系统中,是因为redis是支持list操作的,正如timyang在博客中说的:对Redis的作用的不同解读决定了你对Redis的使用方式.
目前sina alibaba digg等网站已经在使用redis.
memlink
Memlink 是天涯社区开发的一个高性能、持久化、分布式的Key-list/queue数据引擎.
更多介绍详见 :
http://www.infoq.com/cn/news/2010/11/tianya-memlink
http://code.google.com/p/memlink/
目前在天涯的多个产品中使用.
后续我将继续对redis在各个应用场景中的实际使用情况与大家分享.
相关阅读:
memlink性能测试、与redis，mysql的性能测试对比
参考:
http://www.infoq.com/cn/news/2010/11/tianya-memlink
http://timyang.net/data/redis-misunderstanding/
