上一页 1 ··· 321 322 323 324 325 326 327 328 329 ··· 404 下一页
摘要: 遇到非线性可分的数据集时,我们需要使用核方法,但为了使用核方法,我们需要返回到拉格朗日对偶的推导过程,不能简单地使用 Hinge 损失。 操作步骤 导入所需的包。 import tensorflow as tf import numpy as np import matplotlib as mpl 阅读全文
posted @ 2018-12-03 11:50 绝不原创的飞龙 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 运营商 运算符允许生成某些类型的任务,这些任务在实例化时成为DAG中的节点。 所有运算符都派生自BaseOperator ,并以这种方式继承许多属性和方法。 有关更多详细信息,请参阅BaseOperator文档。 有三种主要类型的运营商: 执行操作的操作员,或告诉其他系统执行操作的操作员传输操作员将 阅读全文
posted @ 2018-11-29 18:08 绝不原创的飞龙 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多。 以下是一些常见原因: 您的脚本是否“编译”,Airflow引擎是否可以解析它并找到您的DAG对象。 要对此进行测试,您可以运行airflow list_dags并确认您的DAG显示在列表中。 您还可以运行airflow list_tas 阅读全文
posted @ 2018-11-29 18:07 绝不原创的飞龙 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 注意 Lineage 支持是非常实验性的,可能会发生变化。 Airflow可以帮助跟踪数据的来源,发生的事情以及数据随时间的变化。 这有助于实现审计跟踪和数据治理,还可以调试数据流。 气流通过任务的入口和出口跟踪数据。 让我们从一个例子开始,看看它是如何工作的。 from airflow.opera 阅读全文
posted @ 2018-11-29 18:04 绝不原创的飞龙 阅读(35) 评论(0) 推荐(0) 编辑
摘要: 反向代理Azure:Microsoft AzureAWS:亚马逊网络服务DatabricksGCP:Google云端平台 反向代理 可以在反向代理后面设置气流,并能够灵活地设置其端点。 例如,您可以配置反向代理以获取: https : // lab . mycompany . com / myorg 阅读全文
posted @ 2018-11-29 18:03 绝不原创的飞龙 阅读(22) 评论(0) 推荐(0) 编辑
摘要: Airflow公开了一个实验性的Rest API。 它可以通过网络服务器获得。 端点可在/ api / experimental /获得。 请注意,我们希望端点定义发生变化。 端点 这是占位符,直到招摇定义处于活动状态 / api / experimental / dags / <DAG_ID> / 阅读全文
posted @ 2018-11-29 18:02 绝不原创的飞龙 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 默认情况下启用对时区的支持。 Airflow在内部和数据库中以UTC格式存储日期时间信息。 它允许您使用时区相关的计划运行DAG。 目前,Airflow不会将其转换为用户界面中的最终用户时区。 它始终以UTC显示。 此外,操作符中使用的模板也不会被转换。 时区信息是暴露出来的,由DAG的作者负责。 阅读全文
posted @ 2018-11-29 18:01 绝不原创的飞龙 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 默认情况下,所有门都打开。 限制对Web应用程序的访问的一种简单方法是在网络级别或使用SSH隧道执行此操作。 但是,可以通过使用其中一个提供的后端或创建自己的后端来打开身份验证。 请务必查看Experimental Rest API以保护API。 Web身份验证 密码 最简单的身份验证机制之一是要求 阅读全文
posted @ 2018-11-29 18:00 绝不原创的飞龙 阅读(14) 评论(0) 推荐(0) 编辑
摘要: Airflow内置了一个简单的插件管理器,可以通过简单地删除$AIRFLOW_HOME/plugins文件夹中的文件,将外部功能集成到其核心。 plugins文件夹中的python模块将被导入, 钩子 , 操作符 , 传感器 , 宏 , 执行器和Web 视图将集成到Airflow的主要集合中,并可供 阅读全文
posted @ 2018-11-29 17:59 绝不原创的飞龙 阅读(29) 评论(0) 推荐(0) 编辑
摘要: Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例。 在幕后,它监视并与其可能包含的所有DAG对象的文件夹保持同步,并定期(每分钟左右)检查活动任务以查看是否可以触发它们。 Airflow调度程序旨在作为Airflow生产环境中的持久服务运行。 要开始,您需要做的就是执 阅读全文
posted @ 2018-11-29 17:58 绝不原创的飞龙 阅读(47) 评论(0) 推荐(0) 编辑
上一页 1 ··· 321 322 323 324 325 326 327 328 329 ··· 404 下一页