随笔分类 -  airflow

代码走读 airflow 2
摘要:1.8.1 1 max_threads :同时起这么多个进程处理pyfile2 file_process_interval:在这么长时间(秒)中,一个文件最多执行一次3 run_duration:scheduler的循环什么时候退出4 DagStat中的信息是对DagRun中state的一个统计 5 阅读全文

posted @ 2020-03-29 17:45 我和你并没有不同 阅读(579) 评论(0) 推荐(0) 编辑

单步走读
该文被密码保护。

posted @ 2020-03-20 16:48 我和你并没有不同 阅读(0) 评论(0) 推荐(0) 编辑

代码走读 airflow
摘要:flux:1f6f53872f8d1706bc8257f15104384499c01e0e taskinstance = task +date shell exec shell 的内件命令exec执行命令时,不启用新的shell进程,exec是用被执行的命令行替换掉当前的shell进程,且exec命 阅读全文

posted @ 2020-01-05 12:54 我和你并没有不同 阅读(247) 评论(0) 推荐(0) 编辑

走读中学到的技巧 airflow
摘要:自动发掘dag实例 import imp def process_file(self, filepath): mod_name, file_ext = os.path.splitext(os.path.split(filepath)[-1]) if file_ext != '.py': return 阅读全文

posted @ 2020-01-04 19:20 我和你并没有不同 阅读(379) 评论(0) 推荐(0) 编辑

airflow 实战
摘要:def print_hello(*a,**b): print a print " " print b print 'Hello world!' raise ValueError("pre_paths or find_svr is null") return {"hello":"Hello world 阅读全文

posted @ 2018-03-08 20:18 我和你并没有不同 阅读(1035) 评论(0) 推荐(0) 编辑

airflow笔记
摘要:官网:http://airflow.incubator.apache.org/project.html Here we pass a string that defines the dag_id, which serves as a unique identifier for your DAG. T 阅读全文

posted @ 2018-02-27 17:29 我和你并没有不同 阅读(639) 评论(0) 推荐(0) 编辑

airflow
摘要:教程:https://airflow.apache.org/docs/stable/index.html 官网: http://airflow.incubator.apache.org/index.html airflow源码:https://github.com/apache/incubator- 阅读全文

posted @ 2018-02-07 16:05 我和你并没有不同 阅读(9105) 评论(0) 推荐(1) 编辑