摘要: 来源:http://www.cnblogs.com/opaljc/archive/2012/03/25/2416587.html文/潘凡起因视觉中国网站(www.chinavisual.com)是国内最大的创意人群的专业网站。2009年以前,同很多公司一样,我们的CMS和社区产品都构建于PHP+Nginx+MySQL之上;MySQL使用了Master+Master的部署方案;前端使用自己的PHP框架进行开发;Memcached作为缓存;Nginx进行Web服务和负载均衡;Gearman进行异步任务处理。在传统的基于静态内容(如文章,资讯,帖子)的产品,这个体系运行良好。通过分级的缓存,数据库端 阅读全文
posted @ 2013-03-01 16:56 hasayaki 阅读(1382) 评论(0) 推荐(0) 编辑
摘要: 1.Mongodb bson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,hbase的主键就是row key,可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。字典序对int排序的结果是1,10,10 阅读全文
posted @ 2013-03-01 13:45 hasayaki 阅读(432) 评论(0) 推荐(0) 编辑
摘要: 来源:http://blog.csdn.net/hguisu/article/details/7263746Hadoop流虽然Hadoop是用java写的,但是Hadoop提供了Hadoop流,Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是,它使用UNIX标准流作为程序与Hadoop之间的接口。因此,任何程序只要可以从标准输入流中读取数据,并且可以把数据写入标准输出流中,那么就可以通过Hadoop流使用任何语言编写MapReduce程序的map函数和reduce函数。例如:bin/hadoop jar contrib/streami 阅读全文
posted @ 2013-03-01 11:24 hasayaki 阅读(558) 评论(0) 推荐(0) 编辑
摘要: 来源:http://blog.sina.com.cn/s/blog_5fd841bf0100p3ps.html一、MongoDB简介MongoDB (名称来自"humongous") 是一个可扩展的、高性能、开源、模式自由、面向文档的数据库,集文档数据库、键值对存储和关系型数据库的优点于一身。官方站点:http://www.mongodb.org/,MongoDB特点:•面向文档存储(类JSON数据模式简单而强大)•动态查询•全索引支持,扩展到内部对象和内嵌数组•查询记录分析•快速,就地更新•高效存储二进制大对象 (比如照片和视频)•复制和故障切换支持•Auto-Shard 阅读全文
posted @ 2013-03-01 10:01 hasayaki 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 来源:http://blog.csdn.net/star_zongke/article/details/7475455MapReduce 是 Google 在 2004 年发布的一个软件框架,用于支持大规模数据的分布式计算,详情请看这里。MongoDB 是一个开源的面向文档的 NoSQL 数据库系统,使用 C++ 编写,详情请看这里。1. 安装 MangoDB首先请按照官方这个文档安装 MongoDB 数据库,在本文中,我们是在 Mac OS X 下安装并测试无误。我使用sudo port install mongodb命令来安装 MongoDB ,唯一碰到的一个问题是 xcode 的版本问题 阅读全文
posted @ 2013-03-01 09:57 hasayaki 阅读(295) 评论(0) 推荐(0) 编辑