2018年3月8日
程序找不到properties文件
摘要： 程序通过读取配置spark.properties文件获取相关属性信息，文件所在目录resources下 执行程序报错如下： java.io.FileNotFoundException: spark.properties (系统找不到指定的文件。) at java.io.FileInputStream 阅读全文
posted @ 2018-03-08 10:28 该名称已被用户使用 阅读(347) 评论(0) 推荐(0) 编辑
zookeeper-3.4.6集群部署
摘要： zookeeper-3.4.6集群部署 IP HOST 192.168.132.94 BDTEST05 192.168.132.95 BDTEST06 192.168.132.96 BDTEST07 1. 配置java环境 2. 准备zookeeper介质 tar -zxvf zookeeper-3 阅读全文
posted @ 2018-03-08 09:56 该名称已被用户使用 阅读(175) 评论(0) 推荐(0) 编辑
Linux集群管理软件clustershell
摘要： Linux集群管理软件clustershell 1.简介 机房有大概百台的服务器需要管理，加上需要搭建Hadoop以及Spark集群等，因此，一个轻量级的集群管理软件就显得非常有必要了。经过一段时间的了解以及尝试，最终选择了clustershell这个软件，原因如下： 1、安装方便。一条指令就能轻松 阅读全文
posted @ 2018-03-08 09:32 该名称已被用户使用 阅读(307) 评论(0) 推荐(0) 编辑
kafka_2.10-0.10.0.0集群安装
摘要： kafka_2.10-0.10.0.0集群安装 IP HOST 192.168.132.94 BDTEST05 192.168.132.95 BDTEST06 192.168.132.96 BDTEST07 1. 配置java环境 非常简单就不介绍了 2. 安装zookeeper集群 kafka自带 阅读全文
posted @ 2018-03-08 09:20 该名称已被用户使用 阅读(236) 评论(0) 推荐(0) 编辑
深入学习HBase架构原理
摘要： HBase定义 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利 阅读全文
posted @ 2018-03-08 09:05 该名称已被用户使用 阅读(144) 评论(0) 推荐(0) 编辑
2018年3月7日
spark自定义udf输入类型为array报错
摘要： 定义udf如下 val list2string = udf { (style: Array[String], num: Array[Long]) => style.zip(num).map(t => t._1 + ":" + t._2).mkString("<br>") } 输入为两个数组，输出为s 阅读全文
posted @ 2018-03-07 17:09 该名称已被用户使用 阅读(413) 评论(0) 推荐(0) 编辑
hbase启动时候发生警告
摘要： 警告如下 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0 解决办法： 修改hbase-env.sh，注释掉如下两句 停掉之后再次启动，警告不 阅读全文
posted @ 2018-03-07 17:07 该名称已被用户使用 阅读(127) 评论(0) 推荐(0) 编辑
HregionServer启动失败
摘要： 由于hadopp采用ha方式，HregionServer启动时报错找不到nameservice：ns1 java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.reg 阅读全文
posted @ 2018-03-07 17:01 该名称已被用户使用 阅读(860) 评论(0) 推荐(0) 编辑