摘要: http://chenjc-it.iteye.com/blog/1539746实验成功! 阅读全文
posted @ 2015-12-02 17:23 Captain_Lucky 阅读(386) 评论(0) 推荐(0) 编辑
摘要: 这篇写的很详尽了:http://www.blogjava.net/hengheng123456789/articles/65690.html 阅读全文
posted @ 2015-12-02 16:44 Captain_Lucky 阅读(168) 评论(0) 推荐(0) 编辑
摘要: From:http://www.jbxue.com/LINUXjishu/14582.html查看CPU信息(型号) :# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 8 Intel(R) Xeon(R) CPU ... 阅读全文
posted @ 2015-09-08 14:43 Captain_Lucky 阅读(201) 评论(0) 推荐(0) 编辑
摘要: From:http://blog.csdn.net/ithomer/article/details/9332071Maven是一个项目管理工具,通过pom.xml来实现。pom.xml 配置文件 ... 4.0.0 ... ... ... ... ... ...... 阅读全文
posted @ 2015-08-17 14:23 Captain_Lucky 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 这个报错一般存在于独立安装Zookeeper集群中。报这个错的操作时这样的,先停掉了了HbaseformatZK后重启Hbase启动hbase shell 后HMaster挂掉,看log里就有这个报错TableExistsException: hbase:namespace这个时候需要输入zkCli... 阅读全文
posted @ 2015-08-14 13:52 Captain_Lucky 阅读(1801) 评论(0) 推荐(0) 编辑
摘要: From:http://m.csdn.net/article_pt.html?arcid=2823943Apache HBase是一个面向线上服务的数据库,其原生支持Hadoop的特性,使其成为那些基于Hadoop的扩展性和灵活性进行数据处理的应用显而易见的选择。在Hortonworks数据平台(H... 阅读全文
posted @ 2015-08-12 15:58 Captain_Lucky 阅读(1092) 评论(0) 推荐(0) 编辑
摘要: Hadoop文件读取1)客户端通过调用FileSystem对象中的open()函数来读取它做需要的数据。FileSystem是HDFS中DistributedFileSystem的一个实例。2)DistributedFileSystem会通过RPC协议调用NameNode来确定请求文件块所在的位置。... 阅读全文
posted @ 2015-08-12 15:26 Captain_Lucky 阅读(1884) 评论(0) 推荐(0) 编辑
摘要: Hbase是一个强一致性数据库,不是“最终一致性”数据库,官网给出的介绍:“Strongly consistent reads/writes: HBase is not an "eventually consistent" DataStore. This makes it very suitable... 阅读全文
posted @ 2015-08-11 14:47 Captain_Lucky 阅读(14539) 评论(1) 推荐(3) 编辑
摘要: HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master运行。所以这里要配置HBase高可用的话,只需要启动两个HMaster,让Zookeeper自己去选择一个Master Acitve。HBase配置:... 阅读全文
posted @ 2015-08-07 14:23 Captain_Lucky 阅读(24865) 评论(1) 推荐(1) 编辑
摘要: 这里分两部分,第一部分是NameNode HA,第二部分是ResourceManager HA(ResourceManager HA是hadoop-2.4.1之后加上的)NameNode HA1.启动ZookeeperzkServer.sh start可以用zkServer.sh status查看状... 阅读全文
posted @ 2015-07-20 10:30 Captain_Lucky 阅读(4694) 评论(0) 推荐(0) 编辑
摘要: 集群搭建因为服务器数量有限,这里服务器开启的进程有点多:机器名 安装软件 运行进程 hadoop001 Hadoop,Zookeeper NameNode,DFSZKFailoverController,ResourceManagerDataNode, NodeManagerQuorum... 阅读全文
posted @ 2015-07-20 10:26 Captain_Lucky 阅读(10764) 评论(0) 推荐(0) 编辑
摘要: IDEA使用起来和Eclipse很大区别。1.快捷键。因为一个个熟悉起来费时间,就直接在Preferences—keymap里选择了Eclipse OS X,这样快捷键就转换到了Mac下Eclipse的快捷键。顿时用起来就舒爽多了。2.编译与运行程序IntelliJ默认是不会自动编译项目的,所以在r... 阅读全文
posted @ 2015-07-10 14:59 Captain_Lucky 阅读(1682) 评论(0) 推荐(0) 编辑
摘要: 这一篇是来自官网的Scala By Example即Tutorial后更详细地对Scala怎么用给了示例该文一开始给了一个快速排序的示例版本一: def sort(xs: Array[Int]) { def swap(i: Int, j: Int) { val t = xs(i);... 阅读全文
posted @ 2015-07-10 13:57 Captain_Lucky 阅读(557) 评论(0) 推荐(0) 编辑
摘要: 网上例子大多是基于scala的,并且配置基于sbt、scala的eclipse环境超级麻烦,所以下载IDEA。准备:jdk,IDEA安装(可以不用事先安装sbt和Scala,这在IDEA里都可以plugin)安装Scala,SBT插件在IDEA的Preference—Plugins—Browse R... 阅读全文
posted @ 2015-07-09 15:19 Captain_Lucky 阅读(2816) 评论(0) 推荐(0) 编辑
摘要: 因为Spark项目需要,学习Scala编程。从官网文档入手:http://www.scala-lang.org/documentation/首先从他的Older Documentation入手。第一篇是Brief Scala Tutorial只有20页,对于有Java基础的人来说上手很快其中有几点值... 阅读全文
posted @ 2015-07-08 14:06 Captain_Lucky 阅读(327) 评论(0) 推荐(0) 编辑