1.16学习总结:Spark读写Hbase数据_配置Spark
一、学习视频
https://www.bilibili.com/video/BV1oE411s7h7?p=37
二、配置过程
2.1在spark安装目录下的jars目录中新建hbase目录
2.2将hbase安装目录下的lib目录下的相关文件拷贝到上面的hbase文件夹中
注:./代表当前文件夹,之前有一个空格,其他两个文件操作类似
2.3在官网下载可以将hbase数据转换成python可读取的数据的jar包,并将其拷贝到上面所提的hbase文件夹下
2.4配置spark/conf/spark-env.sh,添加以下内容
此配置信息为3个路径,第一个hadoop安装目录下的bin/hadoop,第二个是hbase安装目录下的bin/hbase,第三个上面所提的hbase文件夹路径
三、文件下载地址
https://mvnrepository.com/artifact/org.apache.spark/spark-examples_2.11/1.6.0-typesafe-001