摘要：
2012-05-11 10:54assertThat使用方法一般匹配符1、assertThat( testedNumber, allOf( greaterThan(8), lessThan(16) ) );注释：allOf匹配符表明如果接下来的所有条件必须都成立测试才通过，相当于“与”（&&）2、assertThat( testedNumber, anyOf( greaterThan(16), lessThan(8) ) );注释：anyOf匹配符表明如果接下来的所有条件只要有一个成立则测试通过，相当于“或”（||）3、assertThat( testedNumber, any 阅读全文
摘要：
原文链接：http://standalone.iteye.com/blog/1727544现在版本的hadoop各种server、client RPC端通信协议的实现是基于google的protocol buffers的，如果对这个不熟悉，读code的时候会比较痛苦一些，所以花了些时间学习了一下，然后仿照写了个比较简单的例子，麻雀虽小，五脏俱全，看懂了我这个或许对你读hadoop的code有帮助！ ：） 我现在实现一个简单的server-client方式的calculator，client将计算请求序列化成protocol buffers形式然后发给server端，server端反序列化后将完 阅读全文
摘要：
2010-10-18 10:12 by zhenjing, 12317 阅读, 27 评论, 收藏, 编辑Problem 1 : Is it a loop ? （判断链表是否有环？）Assume that wehave a head pointer to a link-list. Also assumethat we know the list is single-linked. Can you come up an algorithm to checkwhether this link list includes a loop by using O(n) time and O(1) spac 阅读全文
摘要：
C/C++推荐书籍：C++程序设计语言 Bjarne Stroustrup（入门书籍熟读一本即可）C++ Primer(第四版) Stanley B.Lippman, Josee Lajoie （用于查阅）C++编程规范:101 条规则、准则与最佳实践 HerbSutter, Andrei Alexandrescu 2006 (More) Exceptional C++ HerbSutter 2006(More) Effective C++ Scott Meyers 2006Exceptional C++ style:40个新的工程难题、编程问题及解决方案 HerbSutter ... 阅读全文
摘要：
hbase系统搭建2012-07-25 12:25 by zhenjing, 1168 阅读, 0 评论, 收藏, 编辑相关软件版本：jdk-6u32-linux-x64.bintar xzvf hadoop-1.0.2.tar.gztar xzvf hbase-0.92.1-security.tar.gzjdk-6u32-linux-x64.bin注：目前已经有更高版本0. 设置集群机器的hostname；1. 建立hadoop用户，如hadoop；2. 配置ssh(简单办法：先在单机上生成ssh key pair文件，将授权文件拷贝到相应的机器上)3. 安装java、hadoop、hbas 阅读全文
摘要：
HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。查看精彩图册目录简介访问接口存储格式编辑本段简介 HBase – Hadoop Database，. 阅读全文
摘要：
扎实的基础知识、高质量的代码、清晰的思路、优化代码的能力、优秀的综合能力是编程技术面试的五大要点。 找工作一直是一个热门话题。要想找到心仪的工作，难免需要经过多轮面试。编程面试是程序员面试过程中最为重要的一个环节。如果能在编程面试的环节充分展示自己的能力，那么拿到中意的 Offer 就是水到渠成的事情。 我先后在欧特克、微软和思科等公司任软件工程师，多次接受他人的面试，同时也面试过很多人。总结面试与被面试的经验，我发现尽管面试官的背景、性格各不相同，但都关注应聘者五种素质：扎实的基础知识；能写高质量的代码；分析问题时思路清晰；能优化时间效率和空间效率；具备包括学习能力、沟通能力、发散思维能.. 阅读全文
摘要：
全球虚拟化和云基础架构领导厂商VMware公司今天公布了最新开源项目——Serengeti，支持企业能够在 虚拟和云环境中快速部署、管理和扩展Apache Hadoop。此外，VMware与Apache Hadoop社区共同合作研发扩展功能，让主要组件可以“感知虚拟化”以支持灵活扩展，并进一步提高Hadoop在虚拟化环境中的性能。VMware公司云应用服务副总裁陈志璋表示：“通过支持企业充分利用超大型数据而获取竞争优势，Apache Hadoop具有带来业务变革的潜力。它代表了应用正在发生根本性变化的一个方面，而企业也在寻求把这些新技术融入其产品家族的方式。VMware与 Apache Had 阅读全文
摘要：
分布式系统漫谈一—— Google三驾马车:GFS,mapreduce,Bigtable(2007-11-08 17:01:41)转载▼标签：it/科技分布式系统漫谈一 —— Google三驾马车: GFS,mapreduce,Bigtable谈到分布式系统，就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文。而且，Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Hadoop对应Mapreduce, Hadoop Distributed F 阅读全文
摘要：
hadoop 海量数据 大数据量，海量数据 处理方法总结 布隆过滤器应用 悉数那些“巨型”数据仓库 Hadoop在业界的使用情况 淘宝Hadoop集群的概况 分布式 Paxos在大型系统中常见的应用场景 hadoop的实现 序 基于hadoop的crc校验谈hadoop的离线设计思想 基础 Hadoop使用场景 mapreduce作业流程概论 How MapReduce Works HDFS 读写流程 Hadoop在MapReduce中使用压缩详解 HDFS数据的Checksum Hado... 阅读全文
摘要：
hadoop对于压缩文件的支持hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip2等），hadoop就会根据扩展名去选择解码器解压。hadoop对每个压缩格式的支持,详细见下表：压缩格式工具算法文件扩展名多文件可分割性DEFLATE无DEFLATE.deflate不不gzipgzipDEFLATE.gz不不ZIPzipDEFLATE.zip是是，在文件范围内bzip2bzip2bzip2.bz2不是LZOlzopLZO.lzo不是如 阅读全文
摘要：
HDFS简介HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chunk组织其文件内容的，默认的block大小为64MB，对于不足64MB的文件，其会占用一个block，但实际上不用占用实际硬盘上的64MB，这可以说是HDFS是在文件系统之上架设的一个中间层。之所以将默认的bl 阅读全文
摘要：
hadoop mapreduce作业流程概论mapreduce的一个完整作业流程是怎么样的呢，相信刚接触hadoop,刚写mapreduce的初学者都有很大的困扰，下面的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.html，是我看到的讲MapReduce最好的图。以Hadoop带的wordcount为例子（下面是启动行）：hadoop jar hadoop-0.19.0-examples.jar wordcount /usr/input /usr/output用户提交一个任务以后，该任务由JobT 阅读全文