07 2018 档案

AirFlow常见问题汇总

摘要：airflow常见问题的排查记录如下: 1，airflow怎么批量大量的dag任务普通少量任务可以通过命令命令来启动，或者在web界面点击启动按钮实现，但是当任务过多的时候，一个个任务去启动就比较麻烦。其实dag信息是存储在数据库中的，可以通过批量修改数据库信息来达到批量启动dag任务的效阅读全文

posted @ 2018-07-31 18:39 堕落门徒阅读(22421) 评论(0) 推荐(1) 编辑

使用java程序作为celery的工作节点

摘要：celery是python实现的分布式调度框架，有时候想用celery去调用java服务，正好有一个celery java的库可以使用，能达到这个效果，记录一下: 先添加依赖: 先定义任务类再定义工作入口类运行即可启动版的工作节点: 然后定义celery的任务调度程序 : 运行程序反应如阅读全文

posted @ 2018-07-27 19:09 堕落门徒阅读(1966) 评论(3) 推荐(1) 编辑

airflow使用SimpleHttpOperator实现http调用任务

摘要：使用作为处理器的时候，会发现默认访问的地址端口为例如下面这样定义的任务在运行的时候会抛出如下异常: 说明http请求的host需要进行配置，不然默认访问谷歌域名. 查看源码: 通过源码得知，airflow会先读取环境变量看是否有自定义uri，如果有的话使用自定义的uri，如果没有的话则使用内阅读全文

posted @ 2018-07-27 14:08 堕落门徒阅读(4112) 评论(0) 推荐(0) 编辑

mgo操作mongodb

摘要：mgo基本使用: "http://labix.org/mgo" 安装阅读全文

posted @ 2018-07-22 18:40 堕落门徒阅读(1501) 评论(0) 推荐(0) 编辑

Airflow: TypeError can't pickle memoryview objects

摘要：apache airflow1.9.0 + python3 + rabbitmq + librabbitmq2.0.0 相关配置如下: 结果运行的时候抛出如下异常: 原因分析: airflow 1.9.0使用的是celery4.x, 而celery 4.x使用json序列化，而不是用pickle进行阅读全文

posted @ 2018-07-04 15:28 堕落门徒阅读(964) 评论(0) 推荐(0) 编辑

Airflow：TypeError an integer is required (got type NoneType) 一次诡异问题排查

摘要：当使用rabbitmq作为airflow的broker的时候，启动scheduler，即执行airflow scheduler命令的时候抛出以下异常: 整体环境描述: python3.6 + apache airflow1.9.0 + rabbitmq 3.6 因为使用redis作为brok 阅读全文

posted @ 2018-07-03 19:01 堕落门徒阅读(1877) 评论(0) 推荐(0) 编辑