随笔分类 -  Hadoop

摘要：分布式搜索方案选型之一：Solr我第一个了解到的分布式搜索框架是solr,它是由java开发的，基于lucene的分布式搜索引擎，提供了类似于webserver的编程接口，是一个比较成熟的搜索引擎，目前很多公司都在使用。很快我就部署了一个由4台机器组成的solr集群，开始导公司的数据进去测试，导的数据为200万。导入速度非常快。接下来就开始测试查询效率，发现它是有缓存的，第一次查询的时间基本上在80～150毫秒之间，第二次查由于有缓存，查询时间基本上只需要18~35毫秒，可以说非常之快。它如何做到分布式？因为现在做的是集群，每台机器存储的信息是一样的，怎样做到把索引信息进行拆分？于是就到sol 阅读全文

摘要：因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化 zookeeper.session.timeout 默认值：3分钟(180000ms) 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管. 调优： 这个timeo... 阅读全文

摘要：http://www.cnblogs.com/JemBai/admin/EditPosts.aspx?opt=1 阅读全文

摘要：原文链接：http://outerthought.org/blog/417-ot.html 原文是Bruno Dumon在一年前写的，现在看了还是有很多启发，因此简单的翻译一下，可能有理解不准确的地方，强烈推荐看原文。 ————————————– 毫无理由的分割线 ——————————— HBase是一个类Bigtable系统，按照Google的论文对 Bigtable的定义是“一种稀疏的，分布式的，持久的多为维度的有序Map。这个Map由row key，column key和timestamp做为索引，Map中的值是连续的byte数组”。HBase的多维度，包括table和column f. 阅读全文

摘要：HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。 HBase特性： 1 高可靠性 2 高效性 3 面向列 4 可伸缩 5 可在廉价PC Server搭建大规模结构化存储集群 HBase是Google BigTable的开源实现，其相互对应如下： Google HBase文件存储系统 GFS HDFS海量数据处理 MapReduce Hadoop ... 阅读全文

摘要：IBM 技术文档：Spark, 快速数据分析的又一选择 原文出处：http://www.ibm.com/developerworks/library/os-spark/ 摘要：尽管Hadoop在分布式数据分析领域备受瞩目，但还是有其他选择比典型的Hadoop平台更具优势。Spark是一种可伸缩（scalable）的基于内存计算（In-Memory Computing）的数据分析平台，比Hadoop集群存储方法更有性能优势。Spark采用Scala语言实现，提供了单一的数据处理环境。本文讲述Spark的集群计算方法，并与Hadoop进行比较。 Spark与Hadoop一样，是一种开源的集群... 阅读全文

摘要：http://rdc.taobao.com/team/jm/ 阅读全文