上一页 1 ··· 323 324 325 326 327 328 329 330 331 ··· 404 下一页
摘要: 在本地编写日志 用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下,它位于AIRFLOW_HOME目录中。 此外,用户可以提供远程位置,以便在云存储中存储日志和日志备份。 在Airflow Web UI中,本地日志优先于远程日志。 如果找不到或访问本地 阅读全文
posted @ 2018-11-29 13:39 绝不原创的飞龙 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 默认情况下,Airflow将在元数据数据库中以纯文本格式保存连接的密码。 在安装过程中强烈建议使用crypto包。 crypto包确实要求您的操作系统安装了libffi-dev。 如果最初未安装crypto软件包,您仍可以通过以下步骤为连接启用加密: 安装crypto包pip install apa 阅读全文
posted @ 2018-11-28 20:14 绝不原创的飞龙 阅读(31) 评论(0) 推荐(0) 编辑
摘要: Airflow需要知道如何连接到您的环境。 其他系统和服务的主机名,端口,登录名和密码等信息在UI的Admin->Connection部分中处理。 您将创作的管道代码将引用Connection对象的“conn_id”。 可以使用UI或环境变量创建和管理连接。 有关更多信息,请参阅Connenc 阅读全文
posted @ 2018-11-28 20:13 绝不原创的飞龙 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 操作器代表一个理想情况下是幂等的任务。 操作员确定DAG运行时实际执行的内容。 有关更多信息,请参阅Operators Concepts文档和Operators API Reference 。 BashOperator 模板故障排除 找不到Jinja模板 PythonOperator 传递参数模板 阅读全文
posted @ 2018-11-28 20:10 绝不原创的飞龙 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 如果您想对Airflow进行真正的试驾,您应该考虑设置一个真正的数据库后端并切换到LocalExecutor。 由于Airflow是使用优秀的SqlAlchemy库与其元数据进行交互而构建的,因此您应该能够使用任何支持作为SqlAlchemy后端的数据库后端。 我们建议使用MySQL或Postgre 阅读全文
posted @ 2018-11-28 20:08 绝不原创的飞龙 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 第一次运行Airflow时,它会在$AIRFLOW_HOME目录中创建一个名为airflow.cfg的文件(默认情况下为~/airflow $AIRFLOW_HOME )。 此文件包含Airflow的配置,您可以对其进行编辑以更改任何设置。 您还可以使用以下格式设置带有环境变量的选项: $AIRFL 阅读全文
posted @ 2018-11-28 20:07 绝不原创的飞龙 阅读(35) 评论(0) 推荐(0) 编辑
摘要: 本教程将向您介绍一些基本的Airflow概念,对象及其在编写第一个管道时的用法。 示例管道定义 以下是基本管道定义的示例。 如果这看起来很复杂,请不要担心,下面将逐行说明。 """ Code that goes along with the Airflow tutorial located at: 阅读全文
posted @ 2018-11-28 20:04 绝不原创的飞龙 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 获得气流 安装最新稳定版Airflow的最简单方法是使用pip : pip install apache-airflow 您还可以安装Airflow,支持s3或postgres等额外功能: pip install apache-airflow [ postgres,s3 ] 注意 GPL依赖 默认情 阅读全文
posted @ 2018-11-28 20:03 绝不原创的飞龙 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 安装快速而直接。 # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME 阅读全文
posted @ 2018-11-28 20:00 绝不原创的飞龙 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 历史 Airflow于2014年10月由Airbnb的Maxime Beauchemin开始。 它是第一次提交的开源,并在2015年6月宣布正式加入Airbnb Github。 该项目于2016年3月加入了Apache Software Foundation的孵化计划。 提交者 @mistercru 阅读全文
posted @ 2018-11-28 19:58 绝不原创的飞龙 阅读(14) 评论(0) 推荐(0) 编辑
上一页 1 ··· 323 324 325 326 327 328 329 330 331 ··· 404 下一页