基于Sentry的大数据权限解决方案
● 系统环境说明
Linux环境:centos7.4
CDH:5.16.1
Java:1.8.0_131
Sentry版本:1.5.1
● 集群配置
机器数量:50
内存:64G
硬盘:4T
CPU核心数:32
安装sentry
- 在主页,单击群集名称右侧的
, 点击“添加服务”;
- 选择Sentry,点击“继续”;
- 选择一组依赖关系;
- 确认新服务的主机分配;
- 配置存储数据库;
在mysql中创建对应用户和数据库:
mysql> create database sentry default character set utf8 collate utf8_general_ci;
mysql>grant all on sentry.* to 'sentry'@'cdh03.ali.aiwaystack.com' identified by 'sentry';
mysql>flush privileges;
- 测试连接
- 创建Sentry数据表,启动Sentry服务
Hive开启sentry服务以及开启Hive安全性
-
在“Sentry 服务”中选择“Sentry”
-
修改下面参数
Hive.warehouse.subdir.inherit.perms-->true
- 选择hive-site.xml 的 Hive 服务高级配置代码段(安全阀),增加如下配置:
<property>
<name>sentry.hive.testing.mode</name>
<value>false</value>
</property>
- 选择“范围”中的“HiveServer2”,修改如下配置:
hive.server2.enable.impersonation, hive.server2.enable.doAs-->false
- 选择hive-site.xml 的 HiveServer2 高级配置代码段(安全阀),添加如下配置
<property>
<name>hive.security.authorization.task.factory</name>
<value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>
</property>
- 选择hive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀),添加如下参数:
<property>
<name>hive.metastore.client.impl</name>
<value>org.apache.sentry.binding.metastore.SentryHiveMetaStoreClient</value>
<description>Sets custom Hive Metastore client which Sentry uses to filter out metadata.</description>
</property>
<property>
<name>hive.metastore.pre.event.listeners</name>
<value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value>
<description>list of comma separated listeners for metastore events.</description>
</property>
<property>
<name>hive.metastore.event.listeners</name>
<value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value>
<description>list of comma separated listeners for metastore, post events.</description>
</property>
<property>
<name>hive.metastore.filter.hook</name>
<value>org.apache.sentry.binding.metastore.SentryMetaStoreFilterHook</value>
</property>
配置yarn
在“允许的系统用户”参数“allowed.system.users”中添加hive用户
Yarn->配置->min.user.id修改为合适的值,当前为0
配置sentry
管理员组(sentry.service.admin.group)和允许的连接用户(sentry.service.allow.connect)中添加admin用户和组;
选择“服务范围”,修改管理员组,将默认“hive”、“impala”、“hue”删除,并增加“admin”。
在sentry-site.xml 的 Sentry 服务高级配置代码段(安全阀)中添加如下参数:
<property>
<name>sentry.service.processor.factories</name>
<value>org.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory,org.apache.sentry.hdfs.SentryHDFSServiceProcessorFactory</value>
</property>
<property>
<name>sentry.policy.store.plugins</name>
<value>org.apache.sentry.hdfs.SentryPlugin</value>
</property>
<property>
<name>sentry.hdfs.integration.path.prefixes</name>
<value>/user/hive/warehouse</value>
</property>
配置HDFS开启ACLs与sentry权限同步:
impala配置使用sentry:
HUE配置使用sentry:
等待“生成凭据”命令完成
在 Cloudera Manager 中为任何服务启用安全保护之后,将自动触发称为“生成凭据”的命令。您可以在显示正在运行的命令的屏幕右上角看到该命令的进度。请等待此命令完成(通过内含“0”的灰色框表示)。
所有失去的,都会以另一种方式回到你身边。