摘要:
Sentry概述 cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理,sentry则负责数据的权限管理。 Sentry是什么 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,它提供了细 阅读全文
摘要:
日志采集Flume配置 1)Flume配置分析 Flume直接读log日志的数据,log日志的格式是app-yyyy-mm-dd.log。 2)Flume的具体配置如下: 在CM管理页面上点击Flume, 在实例页面选择hadoop101上的Agent 3)在CM管理页面hadoop101上Flum 阅读全文
摘要:
一. 添加Hive服务 将 Hive 服务添加到 Cluster 1 配置hive元数据 测试通过后继续 自动启动Hive进程 修改Hive配置 /opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib 更新H 阅读全文
摘要:
一. HDFS的参数配着 1. 修改HDFS的权限检查配置 关闭HDFS中的权限检查:dfs.permissions。 2. 配置Hadoop支持LZO 点击主机,在下拉菜单中点击Parcel 点击配置 找到远程Parcel存储库URL,点击最后一栏的加号,增加一栏,输入 http://archiv 阅读全文