随笔分类 -  Hadoop

Cannot obtain block length for LocatedBlock故障分析和解决
摘要：摘要: 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题 阅读全文
posted @ 2017-04-12 17:57 Syn良子 阅读(11052) 评论(1) 推荐(1)
HDFS租约机制
摘要：转自:http://blog.csdn.net/androidlushangderen/article/details/52850349 HDFS租约的概念 每个客户端用户持有一个租约。 每个租约内部包含有一个租约持有者信息，还有此租约对应的文件Id列表，表示当前租约持有者正在写这些文件Id对应的文 阅读全文
posted @ 2017-04-12 16:38 Syn良子 阅读(5839) 评论(1) 推荐(0)
Hadoop创始人Doug Cutting寄语2017：五种让开源项目成功的方法
摘要：原文链接:http://www.infoq.com/cn/news/2017/01/Hadoop-2017-5-open-source?utm_source=tuicool&utm_medium=referral InfoQ上看到这篇文章还不错，Mark一下 英文链接:http://techseen 阅读全文
posted @ 2017-01-13 18:29 Syn良子 阅读(339) 评论(0) 推荐(0)
Kafka到Hdfs的数据Pipeline整理
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下 Confluent的Kafka Connect旨在通过标准化如何将数据移入和移出Kafka来简化构建大规模实时数据管道的过 阅读全文
posted @ 2016-11-18 13:01 Syn良子 阅读(12240) 评论(5) 推荐(2)
Hadoop NameNode的ZKFC机制
摘要：一般导致NameNode切换的原因 ZKFC的作用是什么？如何判断一个NN是否健康 NameNode HA是如何实现的？ NameNode因为断电导致不能切换的原理，怎样进行恢复 阅读全文
posted @ 2016-11-09 11:52 Syn良子 阅读(2367) 评论(0) 推荐(0)
Windows下Eclipse提交MR程序到HadoopCluster
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 欢迎转载,转载请注明出处. 一.配置MapReduce Maven工程 新建一个Maven工程,将CDH集群的相关xml配置文件(主要是core-site.xml,hdfs-site.xml,mapred-sit 阅读全文
posted @ 2016-11-04 18:10 Syn良子 阅读(1507) 评论(0) 推荐(0)
Kettle实现MapReduce之WordCount
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 欢迎转载 抽空用kettle配置了一个Mapreduce的Word count,发现还是很方便快捷的，废话不多说，进入正题.一.创建Mapper转换 如下图,mapper读取hdfs输入，进行word的切分，输出 阅读全文
posted @ 2016-11-02 17:57 Syn良子 阅读(1903) 评论(0) 推荐(0)
hadoop中MapReduce多种join实现实例分析
摘要：转载自:http://zengzhaozheng.blog.51cto.com/8219051/1392961 1、在Reudce端进行连接。 在Reudce端进行连接是MapReduce框架进行表之间join操作最为常见的模式，其具体的实现原理如下： Map端的主要工作：为来自不同表（文件）的ke 阅读全文
posted @ 2016-11-01 11:55 Syn良子 阅读(1019) 评论(0) 推荐(0)