摘要: celery是python实现的分布式调度框架,有时候想用celery去调用java服务,正好有一个celery java的库可以使用,能达到这个效果,记录一下: 先添加依赖: 先定义任务类 再定义工作入口类 运行 即可启动 版的 工作节点: 然后定义celery的任务调度程序 : 运行 程序反应如 阅读全文
posted @ 2018-07-27 19:09 堕落门徒 阅读(1930) 评论(3) 推荐(1) 编辑
摘要: 使用 作为处理器的时候,会发现默认访问的地址 端口为 例如下面这样定义的任务 在运行的时候会抛出如下异常: 说明http请求的host需要进行配置,不然默认访问谷歌域名. 查看源码: 通过源码得知,airflow会先读取环境变量看是否有自定义uri,如果有的话使用自定义的uri,如果没有的话则使用内 阅读全文
posted @ 2018-07-27 14:08 堕落门徒 阅读(4054) 评论(0) 推荐(0) 编辑
摘要: mgo基本使用: "http://labix.org/mgo" 安装 阅读全文
posted @ 2018-07-22 18:40 堕落门徒 阅读(1499) 评论(0) 推荐(0) 编辑
摘要: apache airflow1.9.0 + python3 + rabbitmq + librabbitmq2.0.0 相关配置如下: 结果运行的时候抛出如下异常: 原因分析: airflow 1.9.0使用的是celery4.x, 而celery 4.x使用json序列化,而不是用pickle进行 阅读全文
posted @ 2018-07-04 15:28 堕落门徒 阅读(956) 评论(0) 推荐(0) 编辑
摘要: ​ 当使用rabbitmq作为airflow的broker的时候,启动scheduler,即执行airflow scheduler命令的时候抛出以下异常: 整体环境描述: python3.6 + apache airflow1.9.0 + rabbitmq 3.6 ​ 因为使用redis作为brok 阅读全文
posted @ 2018-07-03 19:01 堕落门徒 阅读(1873) 评论(0) 推荐(0) 编辑
摘要: 1.先安装centos扩展源: 2.安装erlang运行环境以及rabbitmq 一般yum源安装的erlang版本太低,可以从erlang官网下载打包好的rpm包手动安装,避免源码编译安装: rabbitmq资源网址: ​ "http://www.rabbitmq.com/releases/" r 阅读全文
posted @ 2018-06-29 11:12 堕落门徒 阅读(569) 评论(0) 推荐(1) 编辑
摘要: RabbitMQ使用rabbitmqctl add_user的时候报以下错误: 造成的原因是Erlang的cookie文件不一致导致的,所以只需要统一cookie即可解决这个问题: linux环境下: erlang的cookie文件在如下两个位置: 1, /root/.erlang.cookie 注 阅读全文
posted @ 2018-06-27 17:19 堕落门徒 阅读(869) 评论(0) 推荐(0) 编辑
摘要: 1.安装程序的使用 locator server region 部署jar包(deploy) gemfire中部署jar包分为实体类和计算类两种情况: 1.实体类: 实体类需要部署到gemfire程序的classpath路径下面; 2.计算类: 对于计算类,可以通过deploy命令手动部署; 2. 阅读全文
posted @ 2018-06-25 22:33 堕落门徒 阅读(1188) 评论(0) 推荐(0) 编辑
摘要: 有时候希望测试用例能用代码触发,发现testng支持这种操作,于是记录一下: 首先添加testng依赖: 然后实现要被调用的测试用例: 再用代码触发执行该测试用例: 最后执行结果如下: 阅读全文
posted @ 2018-06-25 22:29 堕落门徒 阅读(1995) 评论(0) 推荐(0) 编辑
摘要: 最近开发需求中有需要对后台接口进行限流处理,整理了一下基本使用方法。 首先添加guava依赖: 然后封装RateLimiter适用对多接口的限制: 使用RateLimiterFactory实现对接口的限制: 以上就是RateLimiter实现接口限流的常见使用,头一次发文,mark一下。 阅读全文
posted @ 2018-06-25 22:28 堕落门徒 阅读(491) 评论(0) 推荐(0) 编辑