随笔分类 - Hadoop
摘要：情景再现： 在修复hadoop集群某一个datanode无法启动的问题时，搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录，再重新单独启动该datanode即可； 问题就出在这个误删除上，当时是在namenode的hadoop/hdfs/目录下，然后就执行了
阅读全文
摘要：配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本
阅读全文
摘要：在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNam
阅读全文
摘要：HA集群需要使用nameservice ID区分一个HDFS集群。另外，HA中还要使用一个词，叫做NameNode ID。同一个集群中的不同NameNode，使用不同的NameNode ID区分。为了支持所有NameNode使用相同的配置文件，因此在配置参数中，需要把“nameservice ID”
阅读全文
摘要：http://www.infoq.com/cn/articles/kafka-analysis-part-1/ Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Sto
阅读全文
摘要：相当长一段时间以来，大数据社区已经普遍认识到了批量数据处理的不足。很多应用都对实时查询和流式处理产生了迫切需求。最近几年，在这个理念的推动下，催生出了一系列解决方案，Twitter Storm，Yahoo S4，Cloudera Impala，Apache Spark和Apache Tez纷纷加入大
阅读全文
摘要：背景： 某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级 的快 速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的 HBas
阅读全文
摘要：一、先看API，创建collection1、上传配置文件到zookeeper1） 本地内嵌zookeeper集群：java -classpath ./solr-webapp/webapp/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig
阅读全文
摘要：一. 说明 Solr5内置了Jetty服务，所以不用安装部署到Tomcat了，网上部署Tomcat的资料太泛滥了。 部署前的准备工作： 1. 将各主机IP配置为静态IP（保证各主机可以正常通信，为避免过多的网络传输，建议在同一网段）。 2. 修改主机名，配置各主机映射；修改hosts文件，加入各主机
阅读全文
摘要：http://www.mamicode.com/info-detail-892923.html Solr及SolrCloud简介 Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引
阅读全文
摘要：Lily HBase Indexer 为hbase提供快速查询，他允许不写代码，快速容易的把hbase行索引到solr.Lily HBase Indexer drives HBase indexing 支持 Cloudera Search用户文档地址：http://github.com/NGDATA
阅读全文
摘要：HBase1.0以上版本已经废弃了 HTableInterface,HTable,HBaseAdmin等API的使用，新增了一些API来实现之前的功能： Connectioninterface: Connection connection = ConnectionFactory.createConn
阅读全文
摘要：最近在试用Hbase1.0的客户端API，发觉变化还是挺大（以前版本也不熟）。到处都是deprecated。 现在应该是这样子： Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum",
阅读全文
摘要：在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下，在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 2
阅读全文
摘要：CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集
阅读全文
摘要：文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。这些文件的格式可以是任意的：我们可以使用基于行的日志文件， 也可以使用二进制格式，多行输入记录或者其它一些格式。这些文件一般会很大，达到数十GB，甚至更大。那么 MapReduce 是如何读取这些数据
阅读全文
摘要：Hadoop代码测试环境：Hadoop2.4 应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。 Hadoop内置的输入文件格式类有： 1）FileInputFormat<K,V>这个是基本的父类，我们自定义就直接使用它作为父类； 2）TextInputFormat<
阅读全文
