摘要: oozie 阅读全文
posted @ 2017-02-18 14:04 南国故人(Wall) 阅读(980) 评论(0) 推荐(0) 编辑
摘要: 概述 当前spark上的管控平台有spark job server,zeppelin,由于spark job server和zeppelin都存在一些缺陷,比如spark job server不支持提交sql,zeppelin不支持jar包方式提交,并且它们都不支持yarn cluster模式,只能 阅读全文
posted @ 2017-02-12 15:24 南国故人(Wall) 阅读(12073) 评论(0) 推荐(0) 编辑
摘要: 招聘 阅读全文
posted @ 2016-12-19 17:53 南国故人(Wall) 阅读(916) 评论(0) 推荐(0) 编辑
摘要: spark Zeppelin 原理 阅读全文
posted @ 2016-12-18 17:37 南国故人(Wall) 阅读(17575) 评论(0) 推荐(0) 编辑
摘要: spark job server 原理 阅读全文
posted @ 2016-12-17 22:35 南国故人(Wall) 阅读(1788) 评论(0) 推荐(2) 编辑
摘要: spark 永久 持久化 udf 使用方法 原理 阅读全文
posted @ 2016-12-17 14:41 南国故人(Wall) 阅读(10004) 评论(0) 推荐(0) 编辑
摘要: Intellij 加载 spark 源码 阅读全文
posted @ 2016-12-17 14:25 南国故人(Wall) 阅读(716) 评论(0) 推荐(0) 编辑
摘要: 原文地址: http://xiguada.org/change-git-commit-message Git cimmit信息push后,如何修改,amend可以修改最后一次commit信息,但对于历史提交信息,需要使用rebase命令。 1 比如要修改的commit是倒数第三条,使用下述命令: g 阅读全文
posted @ 2016-09-06 21:31 南国故人(Wall) 阅读(23290) 评论(0) 推荐(1) 编辑
摘要: 原文连接 http://xiguada.org/carbondata_compile/ CarbonData是啥? CarbonData is a fully indexed columnar and Hadoop native data-store for processing heavy ana 阅读全文
posted @ 2016-08-15 21:38 南国故人(Wall) 阅读(1827) 评论(0) 推荐(0) 编辑
摘要: 社区hadoop2.2.0 release版本开始支持NameNode的HA,本文将详细描述NameNode HA内部的设计与实现。 原文见 http://xiguada.org/namenode-ha-principle/ 为什么要Namenode HA? 1.NameNode High Avai 阅读全文
posted @ 2016-08-11 22:01 南国故人(Wall) 阅读(941) 评论(0) 推荐(0) 编辑