随笔分类 - nosql
摘要:第一步:安装jdk由于hadoop是java开发的,所以需要JDK来运行代码。这里安装的是jdk1.6.jdk的安装见http://www.cnblogs.com/tommyli/archive/2012/01/06/2314706.html第二步:创建独立的用户useradd hadooppasswd hadoop有些机器不能设置空密码的时候passwd -d hadoop这里的用户名为hadoop,如果你要调试的时候要注意名字。比如我用windows调试linux的集群,这个名字应该是windows系统的用户名(否则你没有权限提交作业到hadoop)。第三步:设置用户无密码登陆su - h
阅读全文
摘要:近期MongoDB在Hack News上是频繁中枪。许多人更是声称恨上了MongoDB,David mytton就在他的博客中揭露了MongoDB许多现存问题。然而恨的人有之偏爱的也同样很多,作为回击:Russell Smith带来了多年工作经验的总结。Russell Smith曾担任Ops和大型网站缩放顾问并且帮助过Guardian、Experian等多家公司,MongoDB London User Group的联合创始人。作为MongoDB Master(MongoDB官方认可的MongoDB核心贡献者组织,并通过社区分享自己的专业技术),其参与工作的基础设施单服务器每秒查询超过3万次,每
阅读全文
摘要:1:redis安装$ wget http://redis.googlecode.com/files/redis-2.4.11.tar.gz$ tar xzf redis-2.4.11.tar.gz$ cd redis-2.4.11$ make开启服务[root@linux52 ~]# '/soft/redis-2.4.11/src/redis-server'2:驱动http://redis.io/clients3:配置View Code daemonize:是否以后台daemon方式运行pidfile:pid文件位置port:监听的端口号timeout:请求超时时间loglev
阅读全文
摘要:归档Redis在Windows,linux平台下的安装配置使用ServiceStackRedis链接Redis简介Redis资料汇总专题
阅读全文
摘要:本文图片来自Ricky Ho的博文MongoDB构架(MongoDBArchitecture),这是个一听就感觉很宽泛的话题,但是作者在文章中确实对MongoDB由内至外的架构进行了剖析。本文截取了其文章中的几张重点架构示意图片进行简单描述。希望对大家有用。MongoDB数据文件内部结构MongoDB在数据存储上按命名空间来划分,一个collection是一个命名空间,一个索引也是一个命名空间同一个命名空间的数据被分成很多个Extent,Extent之间使用双向链表连接在每一个Extent中,保存了具体每一行的数据,这些数据也是通过双向链接连接的每一行数据存储空间不仅包括数据占用空间,还可能包
阅读全文
摘要:海量存储系列之一海量存储系列之二海量存储系列之三海量存储系列之四海量存储系列之五海量存储系列之六海量存储系列之七海量存储系列之八海量存储系列之九海量存储系列之十海量存储系列之十一海量存储系列之十二
阅读全文
摘要:单点AVGMAXMinInsert12463239601170Updade719789554752Select17675192338566delete728988001040insert : update : select : delete = 1:1:1:12280 : 2179 : 6430 : 273215291 : 3543 : 15392 : 4627125 : 1221 : 908 : 1583MSAVGMAXMinInsert7995201293070Updade656285692004Select239982450318937delete461867091151insert :
阅读全文
摘要:原文地址:http://blog.nosqlfan.com/html/3548.html1.MongoDB是什么 MongoDB介绍PPT分享MongoDB GridFS介绍PPT两则初识 MongoDB GridFSMongoDB GridFS 介绍一个NoSQL与MongoDB的介绍PPTMongoDB:下一代MySQL?写给Python程序员的MongoDB介绍又一篇给Python程序员的MongoDB教程MongoDB源码研究系列文章白话MongoDB系列文章MongoDB Tailable Cursors 特性介绍MongoDB 文档阅读笔记 —— 优雅的 NoSQLMongoDB.
阅读全文
摘要:原文:http://blog.nosqlfan.com/html/1750.html MongoDB 的replication机制除了最普通的Master/Slave模式之外,更强大的就是其支持自动故障转移的Replica Sets模式了。相对于其问题多多的auto-sharding机制,Replica Sets还是相对比较稳定。 作为MongoDB使用大户,Foursquare(简称4...
阅读全文
摘要:原文地址:http://blog.nosqlfan.com/html/3515.html有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。 每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项,那你每个库的文件会单独放在一个文件夹里。 数据库文件在内部会被切分成单个的块,每个块只保存一个名字空间的数据。在MongoDB中,名字空间用于区分不同的存储类别。比如每个collection有一个独立的名字空间,每个索引也有自己的名字空间。 在一个块中,会保存多条记录,每条记录是BSON格式.
阅读全文
摘要:http://www.yankay.com/wp-content/uploads/2010/02/db/db.htmlhttp://www.yankay.com/wp-content/hbase/book.html
阅读全文
摘要:本文转自IBM的developerWorks,主题是关于使用NoSQL存储和处理大规模数据,文章列举了一些循序渐进的学习资料,包括了视频音频和文字材料,是一个很不错的了解、学习NoSQL的知识向导。RDBMS 模型是传统 C/S 模式存储数据的重要基础,但是它无法实现以简单且低廉的方式进行扩展。而目前,更多的应用需求是像 Facebook 和 Twitter 一样需要拥有很强的可扩展性,所以,无模式的存储模型 – NoSQL 应运而生,提供了相应的解决方案。本学习路线图向 Java 开发人员介绍了 NoSQL 技术,以及 Apache Hadoop MapReduce 技术在处理大规模数据方面
阅读全文
摘要:有用的命令db.helpdb.collectionname.help 时区问题> db.test.insert({"date":new Date("2012-2-2"),"num":1})> db.test.insert({"date":new Date("2012-02-02"),"num":2...
阅读全文
摘要:缓存设计的一些思考Oceanbase – 千亿级海量数据库【分布式系统工程实现】分布式事务ACID是单机事务的特性,不过在分布式系统中,由于两台机器理论上无法达到一致的状态(参考Fischer等的论文),需要引入一个单点进行协调,这就出现了著名的两阶段锁协议。两阶段锁(Two-phase commit)协议是每个分布式工程师必须掌握的协议,大致如下:1, Prepare:协调者(Coordinator)给每个参与者(Participants)发送Prepare消息,每个参与者要么直接返回失败,比如权限验证失败,要么在本地执行但不提交,到达一种“万事俱备,只欠东风”的状态;2, Commit/R
阅读全文