CDH6.2上配置各种对象存储

cm-hdfs:

ufile: 还需添加jar包

 

 

S3:是自带jar包

 

 

OSS: CDH6不需要下载包, CDH5需要

core-site.xml 的群集范围高级配置代码段（安全阀）

 

 

 

 

fs.oss.endpoint oss-eu-west-1.aliyuncs.com              #oss的外网地址
fs.oss.accessKeyId 
fs.oss.accessKeySecret 
fs.oss.impl org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
fs.oss.buffer.dir /tmp/oss
fs.oss.connection.secure.enabled false    #是否enable https, 根据需要来设置，enable https会影响性能
fs.oss.connection.maximum 10000

#默认jar包位置:

/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/aliyun-sdk-oss-2.8.3.jar
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hadoop-aliyun-3.0.0-cdh6.2.0.jar

待测试:

cp  jindofs-sdk-2.3.0.jar  /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/

把原有的aliyun-sdk-oss-2.8.3.jar做个备份删除,重启hdfs服务,看新报能不能用?

 

#在CDH中需在cm中配置(需测试)

hadoop-env.sh配置修改
打开文件： vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在相应位置增加如下内容：

export HADOOP_OPTIONAL_TOOLS="hadoop-aliyun"
修改完成之后，重启Hadoop集群

 

#检查

 hdfs dfs -ls oss://opay-datalake/