逖靖寒的世界

摘要： Hadoop系统为了保证数据的一致性，会对文件生成相应的校验文件，并在读写的时候进行校验，确保数据的准确性。比如我们遇到的这个Case：执行的命令：hadoop jar dw-hadoop-2010_7_23.jar jobDriver -files tb_steps_url_path_dim.txt multisteps_output 2011-01-25出错日志的提示：org.apache.hadoop.fs.ChecksumException: Checksum error: file:tb_steps_url_path_dim.txt at 0at org.apache.hadoop. 阅读全文

摘要： 前一段时间，Cassandra0.7已经正式发布啦。接下来，Cassandra1.0即将发布。邮件列表的内容如下：Way back in Nov 09, we did a users survey and asked what featurespeople wanted to see. Here was my summary of the responses:http://www.mail-archive.com/cassandra-user@incubator.apache.org/msg01446.htmlLooking at that, we've done essentially al 阅读全文

摘要： 今年年初的时候，写了一篇ZooKeeper的入门文章《初识ZooKeeper》，一直到这一周，才有时间将ZooKeeper整个源码通读了一遍。不能说完全理解了ZooKeeper的工作原理与细节，但是之前心中一直关于ZooKeeper的疑问都得到了解释。现在网上关于ZooKeeper的文章很多，有介绍Leader选举算法的，有介绍ZooKeeper Server内部原理的，还有介绍ZooKeeper Client的。本文不打算再写类似的内容，而专注与解答读者对ZooKeeper的相关疑问。ZooKeeper在客户端究竟做了什么事情使用过ZooKeeper的读者都知道，初始化客户端的代码如下：完成 阅读全文

摘要： 在Cassandra的官方博客中，新发布了一篇关于Cassandra二级索引的文章，写得不错，翻译出来与大家一起分享:)概述 在Cassandra中，对列值（column values）的索引叫做“二级索引”，它与列簇（ColumnFamilies）中对Key的索引不同。二级索引允许我们对列值进行查询，并且在读取和写入的时候不会引起操作阻塞。 理解二级索引最好的方式就是用实际的例子来说明，在这... 阅读全文

摘要： Cassandra中所有的运行配置都是在配置文件cassandra.yaml中进行配置。 下面依次讲解Cassandra中的配置项： cluster_name 设置Cassandra集群的名称。 在Cassandra集群中，每一台服务器都必须具备相应的集群的名称。如果名称不一致，则当前Cassandra服务器无法加入集群。 initial_token Cassandra服务器的初始化T... 阅读全文

摘要： 和SQL（结构化查询语言）类似，Cassandra也即将在未来的发行版本中提供Cassandra查询语句（CQL）。 比如使用Keyspace名称为WebSiteKS，使用CQL表示为： USE WebSiteKS; 查询Column Family为Standard1，Key为k的值： SELECT FROM Standard1 WHERE KEY = "k"; 更新Column Family为... 阅读全文

摘要： 今天早起看到官方发布的消息：Cassandra Investment from Lightspeed, Sequoia他们又获得了$2.7 million的投资，这笔钱将用于帮助开发者更加方便地使用Cassandra进行开发。未来Cassandra的目标是打造性能最好的分布式数据库。另外，Cassandra有很好的文档，推荐大家阅读： Cassandra documentation和 Cassan... 阅读全文

摘要： 网上有一篇介绍Redis的文章，由浅入深地讲解了Redis：http://blog.mjrusso.com/2010/10/17/redis-from-the-ground-up.html。强烈建议对Redis有兴趣或需要使用的朋友阅读这篇文章。 提到Redis，第一反应就是内存k/v缓存，并且很多人会拿它与Memcached相比较，毕竟他们都是以内存作为存储介质的。 如果简单地比较Redis与... 阅读全文

摘要： 为什么说NoSQL重要SQL语言和关系型数据库（MySQL，PostgreSQL，Oracle，等等）是通用的数据解决方案，占有绝大多数的市场。不过在最近兴起的NoSQL运动中，涌现出来了一批具备高可用性，支持线性扩展，支持Map／Reduce操作等等特性的数据产品，它们具有如下特性：频繁的写入操作，相对较少的读取统计信息的操作（比如一个web访问计数器）应该使用基于内存的key／value存储系... 阅读全文

摘要： 今天下载了《MongoDB The Definitive Guide》电子版，浏览了里面的内容，还是挺丰富的。是官网文档实际应用方面的一个补充。和官方文档类似，介绍MongoDB的内部原理是少之又少，只有在附录的一个章节中介绍了相关内容。 对于大多数的MongoDB的用户来说，MongoDB就像是一个大黑盒，但是如果你能够了解到MongoDB内部一些构造的话，将有利于你更好地理解和使用Mongo... 阅读全文