第1章 Atlas入门
1.1 Atlas概述
Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能
1)表与表之间的血缘依赖
2)字段与字段之间的血缘依赖
1.2 Atlas架构原理
1.3 Atlas2.0特性
(1)更新了组件可以使用Hadoop3.1,Hive3.1,Hive3.0,Hbase2.0,Solr7.5和Kafka2.0
(2)将JanusGraph版本跟新为0.3.1
(3)更新了身份验证支持可信代理
(4)更新了指标模块收集通知
(5)支持Atlas增量导出元数据
第2章 Atlas安装
1)Atlas官网地址:https://atlas.apache.org/
2)文档查看地址:https://atlas.apache.org/2.1.0/index.html
3)下载地址:https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz
2.1 安装环境准备
Atlas安装分为:集成自带的HBase + Solr;集成外部的HBase + Solr。通常企业开发中选择集成外部的HBase + Solr,方便项目整体进行集成操作。
以下是Atlas所以依赖的环境及集群规划,本文只包含Solr和Atlas的安装指南
服务名称 |
子服务 |
服务器 hadoop102 |
服务器 hadoop103 |
服务器 hadoop104 |
JDK |
|
√ |
√ |
√ |
Zookeeper |
QuorumPeerMain |
√ |
√ |
√ |
Kafka |
Kafka |
√ |
√ |
√ |
HBase |
HMaster |
√ |
|
|
HRegionServer |
√ |
√ |
√ |
|
Solr |
Jar |
√ |
√ |
√ |
Hive |
Hive |
√ |
|
|
Atlas |
atlas |
√ |
|
|
服务数总计 |
|
8 |
5 |
5 |
2.1.1 安装Solr-7.7.3
1)上传 solr-7.7.3.tgz 至 /opt/software
2)解压solr-7.7.3.tgz到/opt/module目录,并改名为solr
tar -zxvf /opt/software/solr-7.7.3.tgz -C /opt/module/
mv /opt/module/solr-7.7.3/ /opt/module/solr
3)修改solr配置文件
vim /opt/module/solr/bin/solr.in.sh
#修改如下内容,配置Zookeeper集群
ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"
4)分发 solr
xsync /opt/module/solr
5)启动solr集群
(1)启动Zookeeper集群
#这是一个Zookeeper集群的启动脚本
zookeeper.sh start
(2)启动solr集群(使用xcall.sh脚本启动,这样就不用一台机器一台机器起了)
xcall.sh /opt/module/solr/bin/solr start
出现 Happy Searching! 字样表明启动成功
警告原因:solr推荐系统允许的最大进程数和最大打开文件数分别为65000和65000,而系统默认值低于推荐值。
如需修改可参考以下步骤,修改完需要重启方可生效,此处可暂不修改
(a)修改打开文件数限制:
sudo vim /etc/security/limits.conf
#增加以下内容:修改打开文件数限制
* soft nofile 65000
* hard nofile 65000
(b)修改进程数限制
sudo vim /etc/security/limits.d/20-nproc.conf
#修改如下内容
* soft nproc 65000
(c)分发后,重启服务器
sudo /home/atguigu/bin/xsync /etc/security/limits.conf /etc/security/limits.d/20-nproc.conf
6)访问web页面,默认端口为8983,可指定三台节点中的任意一台IP,http://hadoop102:8983
提示:UI界面出现Cloud菜单栏时,Solr的Cloud模式才算部署成功。
2.1.8 安装Atlas2.1.0
1)把 apache-atlas-2.1.0-bin.tar.gz 上传到hadoop102的/opt/software目录下
2)解压apache-atlas-2.1.0-bin.tar.gz到/opt/module/目录下面
tar -zxvf /opt/software/apache-atlas-2.1.0-bin.tar.gz -C /opt/module/
3)修改apache-atlas-2.1.0的名称为atlas
mv /opt/module/apache-atlas-2.1.0/ /opt/module/atlas
2.2 Atlas配置
2.2.1 Atlas集成Hbase
1)修改/opt/module/atlas/conf/atlas-application.properties配置文件中的以下参数:
vim /opt/module/atlas/conf/atlas-application.properties
#atlas将生成的graph(图标)存储到hbase,所以我们配置hbase的连接
atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181
2)修改/opt/module/atlas/conf/atlas-env.sh配置文件,增加以下内容
vim /opt/module/atlas/conf/atlas-env.sh
export HBASE_CONF_DIR=/opt/module/hbase/conf
2.2.2 Atlas集成Solr
1)修改/opt/module/atlas/conf/atlas-application.properties配置文件中的以下参数:
vim /opt/module/atlas/conf/atlas-application.properties
#atlas需要将graph的index存储到solr,指定solr的Zookeeper地址,所以我们修改它
atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181
2)分发 atlas
xsync /opt/module/atlas/
3)创建solr collection(随便找一个shell窗口依次执行即可)
/opt/module/solr/bin/solr create -c vertex_index -d /opt/module/atlas/conf/solr -shards 3 -replicationFactor 2
/opt/module/solr/bin/solr create -c edge_index -d /opt/module/atlas/conf/solr -shards 3 -replicationFactor 2
/opt/module/solr/bin/solr create -c fulltext_index -d /opt/module/atlas/conf/solr -shards 3 -replicationFactor 2
2.2.3 Atlas集成Kafka
修改/opt/module/atlas/conf/atlas-application.properties配置文件中的以下参数:
vim /opt/module/atlas/conf/atlas-application.properties
#是否开启内置的通知机制 atlas.notification.embedded=false #kafka中数据存放的目录 atlas.kafka.data=/opt/module/kafka/logs #kafka中Zookeeper的地址 atlas.kafka.zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka #kafka中集群的地址 atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
2.2.4 Atlas Server配置
1)修改/opt/module/atlas/conf/ atlas-application.properties配置文件中的以下参数
vim /opt/module/atlas/conf/atlas-application.properties
#发送reset请求的url路径 atlas.rest.address=http://hadoop102:21000 #是否自启,把注释打开即可 atlas.server.run.setup.on.start=false #审计日志存储在hbase中,所以填写hbase的Zookeeper地址 atlas.audit.hbase.zookeeper.quorum=hadoop102:2181,hadoop103:2181,hadoop104:2181
2)记录性能指标,进入/opt/module/atlas/conf/路径,修改当前目录下的atlas-log4j.xml
cd /opt/module/atlas/conf/
vim atlas-log4j.xml
#去掉如下代码的注释 <appender name="perf_appender" class="org.apache.log4j.DailyRollingFileAppender"> <param name="file" value="${atlas.log.dir}/atlas_perf.log" /> <param name="datePattern" value="'.'yyyy-MM-dd" /> <param name="append" value="true" /> <layout class="org.apache.log4j.PatternLayout"> <param name="ConversionPattern" value="%d|%t|%m%n" /> </layout> </appender> <logger name="org.apache.atlas.perf" additivity="false"> <level value="debug" /> <appender-ref ref="perf_appender" /> </logger>
2.2.5 Atlas集成Hive
1)修改/opt/module/atlas/conf/atlas-application.properties配置文件,添加以下参数:
vim /opt/module/atlas/conf/atlas-application.properties
######### Hive Hook Configs ####### #Atlas集成Hive atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries=3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=primary
2)修改Hive配置文件,在/opt/module/hive/conf/hive-site.xml文件中增加以下参数,配置Hive Hook
vim /opt/module/hive/conf/hive-site.xml
<!-- 让hive在执行hql时,自动调用下方类中的钩子程序 -->
<property> <name>hive.exec.post.hooks</name> <value>org.apache.atlas.hive.hook.HiveHook</value> </property>
3)安装Hive Hook
(1)上传 apache-atlas-2.1.0-hive-hook.tar.gz 文件至 /opt/software
(2)解压Hive Hook 至 /opt/module
tar -zxvf /opt/software/apache-atlas-2.1.0-hive-hook.tar.gz -C /opt/module/
(3)将Hive Hook依赖复制到Atlas安装路径
cp -r /opt/module/apache-atlas-hive-hook-2.1.0/* /opt/module/atlas/
(4)修改/opt/module/hive/conf/hive-env.sh配置文件
#需先需改文件名,如果之前没有修改过的话
mv /opt/module/hive/conf/hive-env.sh.template /opt/module/hive/conf/hive-env.sh
vim /opt/module/hive/conf/hive-env.sh
#增加如下参数
#hive每次启动时会自动加载lib中的jar包和auxlib中的jar包,以及我们现在配置的这个路径下的jar包
export HIVE_AUX_JARS_PATH=/opt/module/atlas/hook/hive
(5)将Atlas配置文件/opt/module/atlas/conf/atlas-application.properties 拷贝到/opt/module/hive/conf目录
cp /opt/module/atlas/conf/atlas-application.properties /opt/module/hive/conf/
2.3 Atlas启动
1)启动Atlas所依赖的环境
(1)启动Hadoop集群
hdp.sh start
(2)启动Zookeeper集群
zookeeper.sh start
(3)启动Kafka集群
kafka.sh start
(4)启动Hbase集群,在HMaster节点执行以下命令,所以我在hadoop102上执行
start-hbase.sh
(5)启动Solr集群
xcall.sh /opt/module/solr/bin/solr start
(6)启动Atlas服务(hadoop102上启动)
/opt/module/atlas/bin/atlas_start.py
(a)错误信息查看路径:/opt/module/atlas/logs/*.out和application.log
(b)停止Atlas服务命令为
/opt/module/atlas/bin/atlas_stop.py
2)访问Atlas的WebUI(等待时间大概5分钟)
访问地址:http://hadoop102:21000 账户:admin 密码:admin
第3章 Atlas使用
Atlas的使用相对简单,其主要工作是同步各服务(主要是Hive)的元数据,并构建元数据实体之间的关联关系,然后对所存储的元数据建立索引,最终未用户提供数据血缘查看及元数据检索等功能
Atlas在安装之初,需手动执行一次元数据的全量导入,后续Atlas便会利用Hive Hook增量同步Hive的元数据。
3.1 Hive元数据初次导入
Atlas提供了一个Hive元数据导入的脚本,直接执行该脚本,即可完成Hive元数据的初次全量导入
1)导入Hive元数据
#执行以下命令
/opt/module/atlas/hook-bin/import-hive.sh
按提示输入用户名:admin;输入密码:admin
等待片刻,出现以下日志,即表明导入成功
2)查看Hive元数据
(1)搜索hive_table类型的元数据,可已看到Atlas已经拿到了Hive元数据
(2)任选一张表查看血缘依赖关系,发现此时并未出现期望的血缘依赖,原因是Atlas是根据Hive所执行的SQL语句获取表与表之间以及字段与字段之间的依赖关系的,例如执行insert into table_a select * from table_b语句,Atlas就能获取table_a与table_b之间的依赖关系。此时并未执行任何SQL语句,故还不能出现血缘依赖关系。
3.2 Hive元数据增量同步
Hive元数据的增量同步,无需人为干预,只要Hive中的元数据发生变化(执行DDL语句),Hive Hook就会将元数据的变动通知Atlas。除此之外,Atlas还会根据DML语句获取数据之间的血缘关系。
3.2.1 全流程调度
为查看血缘关系效果,此处使用Azkaban将数仓的全流程调度一次
1)新数据准备
(1)用户行为日志
(a)启动日志采集通道,包括Zookeeper,Kafka,Flume等
#第一层采集脚本:采集数据至kafka
flume-first.sh start
#第二层采集脚本:从kafka消费数据至hdfs
flume-second.sh start
(b)执行makeLogData.sh脚本,生成数据,然后等待采集脚本采集数据即可
makeLogData.sh 2021-06-11 1
(2)等待片刻,观察HDFS是否出现2021-06-11的日志文件
2)业务数据
(1)修改/opt/module/mock/application.properties,将模拟日期修改为2021-06-11,如下
vim /opt/module/mock/application.properties
#业务日期
mock.date=2021-06-11
(2)进入到/opt/module/mock路径,执行模拟生成业务数据的命令,如下:
java -jar gmall2020-mock-db-2021-01-22.jar
(3)观察mysql的gmall数据中是否出现2021-06-11的数据
3)启动Azkaban(在hadoop103上使用脚本启动)
azkaban.sh start
4)全流程调度,使用 gmall_everyday 工作流即可,详情请看:https://www.cnblogs.com/LzMingYueShanPao/p/14942069.html
4)运行结果
3.2.2 查看血缘依赖
此时再通过Atlas查看Hive元数据,即可发现血缘依赖
第4章 扩展内容
4.1 Atlas源码编译
4.1.1 安装Maven
1)Maven下载:https://maven.apache.org/download.cgi
2)把apache-maven-3.6.1-bin.tar.gz上传到linux的/opt/software目录下
3)解压apache-maven-3.6.1-bin.tar.gz到/opt/module/目录下面
tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /opt/module/
4)修改apache-maven-3.6.1的名称为maven
mv apache-maven-3.6.1/ maven
5)添加环境变量到/etc/profile中
vim /etc/profile
#MAVEN_HOME export MAVEN_HOME=/opt/module/maven export PATH=$PATH:$MAVEN_HOME/bin
6)测试安装结果
source /etc/profile
mvn -v
7)修改setting.xml,指定为阿里云
cd /opt/module/maven/conf/
vim settings.xml
<!-- 添加阿里云镜像--> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> <mirror> <id>UK</id> <name>UK Central</name> <url>http://uk.maven.org/maven2</url> <mirrorOf>central</mirrorOf> </mirror> <mirror> <id>repo1</id> <mirrorOf>central</mirrorOf> <name>Human Readable Name for this Mirror.</name> <url>http://repo1.maven.org/maven2/</url> </mirror> <mirror> <id>repo2</id> <mirrorOf>central</mirrorOf> <name>Human Readable Name for this Mirror.</name> <url>http://repo2.maven.org/maven2/</url> </mirror>
4.1.2 编译Atlas源码
1)把apache-atlas-2.1.0-sources.tar.gz上传到hadoop102的/opt/software目录下
2)解压apache-atlas-2.1.0-sources.tar.gz到/opt/module/目录下面
tar -zxvf apache-atlas-2.1.0-sources.tar.gz -C /opt/module/
3)下载Atlas依赖
export MAVEN_OPTS="-Xms2g -Xmx2g"
cd /opt/module/apache-atlas-sources-2.1.0/
mvn clean -DskipTests install
mvn clean -DskipTests package -Pdis
#一定要在${atlas_home}执行
cd distro/target/
mv apache-atlas-2.1.0-server.tar.gz /opt/software/
mv apache-atlas-2.1.0-hive-hook.tar.gz /opt/software/
提示:执行过程比较长,会下载很多依赖,大约需要半个小时,期间如果报错很有可能是因为TimeOut造成的网络中断,重试即可。
4.2 Atlas内存配置
如果计划存储数万个元数据对象,建议调整参数值获得最佳的JVM GC性能。以下是常见的服务器端选项,我们修改配置文件/opt/module/atlas/conf/atlas-env.sh
vim /opt/module/atlas/conf/atlas-env.sh
#设置Atlas内存
export ATLAS_SERVER_OPTS="-server -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+PrintTenuringDistribution -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=dumps/atlas_server.hprof -Xloggc:logs/gc-worker.log -verbose:gc -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1m -XX:+PrintGCDetails -XX:+PrintHeapAtGC -XX:+PrintGCTimeStamps"
#建议JDK1.7使用以下配置
export ATLAS_SERVER_HEAP="-Xms15360m -Xmx15360m -XX:MaxNewSize=3072m -XX:PermSize=100M -XX:MaxPermSize=512m"
#建议JDK1.8使用以下配置
export ATLAS_SERVER_HEAP="-Xms15360m -Xmx15360m -XX:MaxNewSize=5120m -XX:MetaspaceSize=100M -XX:MaxMetaspaceSize=512m"
#如果是Mac OS用户需要配置
export ATLAS_SERVER_OPTS="-Djava.awt.headless=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
参数说明: -XX:SoftRefLRUPolicyMSPerMB 此参数对管理具有许多并发用户的查询繁重工作负载的GC性能特别有用。
4.3 配置用户名密码
Atlas支持以下身份验证方法:File、Kerberos协议、LDAP协议,通过修改配置文件atlas-application.properties文件开启或关闭三种验证方法
atlas.authentication.method.kerberos=true|false atlas.authentication.method.ldap=true|false atlas.authentication.method.file=true|false
如果两个或多个身份证验证方法设置为true,如果较早的方法失败,则身份验证将回退到后一种方法。例如,如果Kerberos身份验证设置为true并且ldap身份验证也设置为true,那么,如果对于没有kerberos principal和keytab的请求,LDAP身份验证将作为后备方案。
本文主要讲解采用文件方式修改用户名和密码设置。其他方式可以参见官网配置即可
1)打开/opt/module/atlas/conf/users-credentials.properties文件
vim /opt/module/atlas/conf/users-credentials.properties
#username=group::sha256-password admin=ADMIN::8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918 rangertagsync=RANGER_TAG_SYNC::e3f67240f5117d1753c940dae9eea772d36ed5fe9bd9c94a300e40413f1afb9d
(1)admin是用户名称
(2)8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918是采用sha256加密的密码,默认密码为admin。
2)例如:修改用户名称为atguigu,密码为atguigu
(1)获取sha256加密的atguigu密码
echo -n "atguigu"|sha256sum
2628be627712c3555d65e0e5f9101dbdd403626e6646b72fdf728a20c5261dc2
(2)修改用户名和密码
vim /opt/module/atlas/conf/users-credentials.properties
#username=group::sha256-password atguigu=ADMIN::2628be627712c3555d65e0e5f9101dbdd403626e6646b72fdf728a20c5261dc2 rangertagsync=RANGER_TAG_SYNC::e3f67240f5117d1753c940dae9eea772d36ed5fe9bd9c94a300e40413f1afb9d