摘要:
前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。 这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介 阅读全文
摘要:
hue 4.2版本兼容性 链接:http://cloudera.github.io/hue/latest/release-notes/release-notes-4.2.0.html 阅读全文
摘要:
在zeppelin跑spark sql 时抛了空引用的异常: 上stackoverflow查了一下,有人也遇到这个问题。其中的一个原因是自己的环境没有安装hive,却启用了hiveContext,导致出异常。 链接:https://stackoverflow.com/questions/432890 阅读全文
摘要:
代码: 使用上述的代码取userGroupMapping 集合过后的100条记录,出现了executor time out 和GC overhead limit exceeded 异常。一开始以为推测是task 从mongodb取的数据太大,导致spark executor内存不够,后来调研了一下s 阅读全文
摘要:
1.下载zepplin 进入官网下载地址 ,下载完整tar包. 2.解压 3.修改配置 新建配置文件 修改配置文件 # 设置java home 路径 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.141-1.b16.el7_3.x86_ 阅读全文
摘要:
异常:java.lang.IllegalArgumentException: Missing database name 转载自:https://issues.apache.org/jira/browse/ZEPPELIN-1565 阅读全文
摘要:
转载自:http://zeppelin.apache.org/supported_interpreters.html 阅读全文
摘要:
截图自:《kafka技术内幕:图文详解kafka源码设计与实现》 阅读全文
摘要:
截图自:《kafka 技术内幕:图文详解kafka源码设计与实现》 阅读全文
摘要:
spark ui acl 不生效的问题分析 按照spark 文档配置了spark.acls.enable, spark.ui.view.acls 等参数,再去访问spark web ui后台,还是可以访问,说明acl没有生效。为什么么有生效呢?本人查看了spark源码后,发现要让acl 生效,还要配 阅读全文