堕落门徒

摘要： ignite有两种配置方式，一种是基于XML文件的配置，一种是基于JAVA代码的配置： 这里将ignite常用的配置集中罗列出来了，一般建议使用xml配置。 1，基于XML的配置 基于此XML配置启动ignite节点的方式如下: 2，基于JAVA代码的配置 一般建议基于XML配置，spring be 阅读全文

摘要： apache ignite简介（一） 1，简介 ​ ignite是分布式内存网格的一种实现，其基于java平台，具有可持久化，分布式事务，分布式计算等特点，此外还支持丰富的键值存储以及SQL语法(基于h2引擎)，可以看成是一个分布式内存数据库。 与ignite类似的产品有gemfire(12306目 阅读全文

摘要： 1, 简介 ​ Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和 阅读全文

摘要： jps jps与unix上的ps类似，用来显示本地的java进程，可以查看本地运行着几个java程序，并显示他们的进程号 jconsole jconsole:一个java GUI监视工具，可以以图表化的形式显示各种数据。并可通过远程连接监视远程的服务器VM。 jmap 打印出某个java进程（使用p 阅读全文

摘要： airflow常用命令如下所示: 使用REST API远程调用执行airflow的命令: http://localhost:8080/admin/airflow/trigger?dag_id=example_hello_world_dag http://localhost:8080/admin/ai 阅读全文

摘要： ​ 在使用airflow的过程中需要大量的dag脚本进行性能测试，如果一个个去编写dag脚本未免太过麻烦，于是想到用python的jinja2模板引擎实现批量脚本生成。 先通过pip命令安装jinja2模块: 然后创建模板文件(模板可以是任何形式的文本格式，没有特定扩展名，甚至可以不要扩展名): f 阅读全文

摘要： `logging`模块中日志级别如下: NOTSET 阅读全文

摘要： ​ RabbitMQ是一种基于amq协议的消息队列，本文主要记录一下rabbitmq的基础内容以及使用 操作rabbitmq。 1，rabbitmq中的几个重要概念 a) 虚拟主机(vhost) ​ 虚拟主机：一个虚拟主机持有一组交换机、队列和绑定。虚拟主机的作用在于进行权限管控，rabbitmq默 阅读全文

摘要： airflow常见问题的排查记录如下: 1，airflow怎么批量 大量的dag任务 ​ 普通少量任务可以通过命令 命令来启动，或者在web界面点击启动按钮实现，但是当任务过多的时候，一个个任务去启动就比较麻烦。其实dag信息是存储在数据库中的，可以通过批量修改数据库信息来达到批量启动dag任务的效 阅读全文

摘要： celery是python实现的分布式调度框架，有时候想用celery去调用java服务，正好有一个celery java的库可以使用，能达到这个效果，记录一下: 先添加依赖: 先定义任务类 再定义工作入口类 运行 即可启动 版的 工作节点: 然后定义celery的任务调度程序 : 运行 程序反应如 阅读全文