HBase学习----windows10下使用eclipse搭建HBase的开发环境
以下是我搭建HBase开发环境的一些心得(windows10)
0.安装JDK和eclipse和一个可用的HBase。
这步是最基础的,在此就不赘述了
1.创建一个java项目:
基础问题,不赘述。
2.导入需要的jar包
官网下载对应的二进制包,将lib文件下的jar包导入(右键--> build path -->Libraries -->Add External JARs --> 选择lib目录下的文件)
注意:如果jar文件有所缺失会在项目的图标下有个红色的感叹号,但是找了半天并没有找到缺失了什么jar包,还好官网的lib是齐全的,有时间研究下eclipse这个工具的使用。
3.导入配置文件
在项目的根目录下新建conf文件夹,从生产环境(可用的hbase,一般在hbase下的conf中)拷贝hbase-site.xml到该文件夹,右键configure build path --> Libraries --> Add Class Folder -->选择新建的conf文件夹
4.log4j配置文件:
.在项目的根目录下创建log4j.properties文件,里面写入:
========================分割线==================================
log4j.rootLogger=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.append5r.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
========================分割线==================================
有时间可以查查这个log4j追加器
追加器的目的只是为了,让你的异常或者错误的调试信息显示出来。
5.补充winutils.exe文件
还有个winutils.exe文件也很重要如果缺失,也会导致报错。
通过搜索资料得知有两种办法:
但是都要首先下载:
https://github.com/srccodes/hadoop-common-2.2.0-bin
这里的软件包解压出来
一种是在windows中的环境变量设置HADOOP_HOME
但是这种方式,我照着做了并没有成功
所以使用了第二种方法:在程序中设置,代码如下(在main方法的开始添加即可):
System.setProperty("hadoop.home.dir", "D:\\Data\\workspace2\\hadoop-common-2.2.0-bin-master");
其中的D:\\Data\\workspace2\\hadoop-common-2.2.0-bin-master为我下载后的解压路径,注意这里的路径要用\\,要不然会报错。
6.其他
以上的四步是解析conf/下面的xml文件来获取到HBase集群的地址和端口。
据说还有一种直接设置静态的值方式,暂时没有成功。
7.最后
接下就可以研究下非环境搭建的问题了。
暂时先记下这么多,以后有时间再来,补充和完善。
数据科学交流群,群号:189158789 ,欢迎各位对数据科学感兴趣的小伙伴的加入!
深信积累的力量,时间就是你最好的朋友,否则它就是你最大的敌人。
如果你想分享此文章,请注明:作者:PurStar 出处:www.cnblogs.com/purstar