04 2017 档案

设置hdfs和hbase副本数。hadoop2.5.2 hbase0.98.6
摘要：hdfs副本和基本读写。 core-site.xmlhdfs-site.xml 从/etc/hdfs1/conf下拷贝到工作空间 import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import or... 阅读全文
posted @ 2017-04-26 11:54 阿梁的新博客 阅读(1690) 评论(0) 推荐(0) 编辑
编译spark example
摘要：编译spark example 前提是装好了eclipse的scala插件 git clone https://github.com/apache/spark.git cd spark git branch -r git checkout -t origin/branch-2.1 阅读全文
posted @ 2017-04-19 08:32 阿梁的新博客 阅读(253) 评论(0) 推荐(0) 编辑
centos7.2 64位 hadoop2.7.3 安装 hawq 2.10 随笔啊随笔而已。
摘要：在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人 hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来， 阅读全文
posted @ 2017-04-11 23:00 阿梁的新博客 阅读(1617) 评论(0) 推荐(0) 编辑
鼓励小侄女
摘要： 阅读全文
posted @ 2017-04-07 17:59 阿梁的新博客 阅读(106) 评论(0) 推荐(0) 编辑
重装tdh
摘要：在污染的tdh环境上，重新安装tdh。先在一个节点上装好了manager。假设这是测试环境。期望将脏节点加入集群。下面配置脏节点，使之能加入新集群。 1，改repo源 /etc/yum.repo.d下 2，删除/etc/hosts中除了localhost 和127.0.0.1的东西。 可以先卸载掉之 阅读全文
posted @ 2017-04-07 16:06 阿梁的新博客 阅读(341) 评论(0) 推荐(0) 编辑
spark0.5.2编译笔记
摘要：sbt.version=0.11.3 scala.version=2.9.1 resolvers ++= Seq( "sbt-idea-repo" at "http://dl.bintray.com/typesafe/ivy-releases", Classpaths.typesafeResolver, Resolver.url("sbt-plugin-releases", ... 阅读全文
posted @ 2017-04-05 16:22 阿梁的新博客 阅读(134) 评论(0) 推荐(0) 编辑