2017年4月
编译spark example
摘要： 编译spark example 前提是装好了eclipse的scala插件 git clone https://github.com/apache/spark.git cd spark git branch -r git checkout -t origin/branch-2.1 阅读全文
posted @ 2017-04-19 08:32 阿梁的新博客 阅读(254) 评论(0) 推荐(0) 编辑
centos7.2 64位 hadoop2.7.3 安装 hawq 2.10 随笔啊随笔而已。
摘要： 在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人 hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来， 阅读全文
posted @ 2017-04-11 23:00 阿梁的新博客 阅读(1618) 评论(0) 推荐(0) 编辑
鼓励小侄女
摘要： 阅读全文
posted @ 2017-04-07 17:59 阿梁的新博客 阅读(107) 评论(0) 推荐(0) 编辑
重装tdh
摘要： 在污染的tdh环境上，重新安装tdh。先在一个节点上装好了manager。假设这是测试环境。期望将脏节点加入集群。下面配置脏节点，使之能加入新集群。 1，改repo源 /etc/yum.repo.d下 2，删除/etc/hosts中除了localhost 和127.0.0.1的东西。 可以先卸载掉之 阅读全文
posted @ 2017-04-07 16:06 阿梁的新博客 阅读(343) 评论(0) 推荐(0) 编辑
spark0.5.2编译笔记
摘要： sbt.version=0.11.3 scala.version=2.9.1 resolvers ++= Seq( "sbt-idea-repo" at "http://dl.bintray.com/typesafe/ivy-releases", Classpaths.typesafeResolver, Resolver.url("sbt-plugin-releases", ... 阅读全文
posted @ 2017-04-05 16:22 阿梁的新博客 阅读(134) 评论(0) 推荐(0) 编辑