2018年8月20日
apache ignite系列（三）：数据处理(数据加载，数据并置，数据查询)
摘要： ​ 使用ignite的一个常见思路就是将现有的关系型数据库中的数据导入到ignite中，然后直接使用ignite中的数据，相当于将ignite作为一个缓存服务，当然ignite的功能远不止于此，下面以将ignite集成进java服务的方式进行演示ignite的数据存储和查询相关的功能。由于个人习惯， 阅读全文
posted @ 2018-08-20 08:51 堕落门徒 阅读(10982) 评论(0) 推荐(2) 编辑
apache ignite系列（二）：配置
摘要： ignite有两种配置方式，一种是基于XML文件的配置，一种是基于JAVA代码的配置： 这里将ignite常用的配置集中罗列出来了，一般建议使用xml配置。 1，基于XML的配置 基于此XML配置启动ignite节点的方式如下: 2，基于JAVA代码的配置 一般建议基于XML配置，spring be 阅读全文
posted @ 2018-08-20 08:50 堕落门徒 阅读(5059) 评论(0) 推荐(0) 编辑
apache ignite系列（一）： 简介
摘要： apache ignite简介（一） 1，简介 ​ ignite是分布式内存网格的一种实现，其基于java平台，具有可持久化，分布式事务，分布式计算等特点，此外还支持丰富的键值存储以及SQL语法(基于h2引擎)，可以看成是一个分布式内存数据库。 与ignite类似的产品有gemfire(12306目 阅读全文
posted @ 2018-08-20 00:35 堕落门徒 阅读(14553) 评论(0) 推荐(0) 编辑
2018年8月19日
AirFlow简介
摘要： 1, 简介 ​ Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和 阅读全文
posted @ 2018-08-19 20:05 堕落门徒 阅读(82025) 评论(0) 推荐(8) 编辑
2018年8月10日
常用jvm命令
摘要： jps jps与unix上的ps类似，用来显示本地的java进程，可以查看本地运行着几个java程序，并显示他们的进程号 jconsole jconsole:一个java GUI监视工具，可以以图表化的形式显示各种数据。并可通过远程连接监视远程的服务器VM。 jmap 打印出某个java进程（使用p 阅读全文
posted @ 2018-08-10 15:16 堕落门徒 阅读(322) 评论(0) 推荐(0) 编辑
2018年8月7日
AirFlow常用命令
摘要： airflow常用命令如下所示: 使用REST API远程调用执行airflow的命令: http://localhost:8080/admin/airflow/trigger?dag_id=example_hello_world_dag http://localhost:8080/admin/ai 阅读全文
posted @ 2018-08-07 15:58 堕落门徒 阅读(8080) 评论(0) 推荐(0) 编辑
2018年8月3日
jinja2批量生成python脚本
摘要： ​ 在使用airflow的过程中需要大量的dag脚本进行性能测试，如果一个个去编写dag脚本未免太过麻烦，于是想到用python的jinja2模板引擎实现批量脚本生成。 先通过pip命令安装jinja2模块: 然后创建模板文件(模板可以是任何形式的文本格式，没有特定扩展名，甚至可以不要扩展名): f 阅读全文
posted @ 2018-08-03 10:51 堕落门徒 阅读(1623) 评论(0) 推荐(0) 编辑
2018年8月2日
python日志模块logging
摘要： `logging`模块中日志级别如下: NOTSET 阅读全文
posted @ 2018-08-02 14:58 堕落门徒 阅读(2034) 评论(0) 推荐(0) 编辑
2018年8月1日
RabbiMQ基础以及spring-boot-starter-amqp使用
摘要： ​ RabbitMQ是一种基于amq协议的消息队列，本文主要记录一下rabbitmq的基础内容以及使用 操作rabbitmq。 1，rabbitmq中的几个重要概念 a) 虚拟主机(vhost) ​ 虚拟主机：一个虚拟主机持有一组交换机、队列和绑定。虚拟主机的作用在于进行权限管控，rabbitmq默 阅读全文
posted @ 2018-08-01 19:01 堕落门徒 阅读(20506) 评论(0) 推荐(2) 编辑
2018年7月31日
AirFlow常见问题汇总
摘要： airflow常见问题的排查记录如下: 1，airflow怎么批量 大量的dag任务 ​ 普通少量任务可以通过命令 命令来启动，或者在web界面点击启动按钮实现，但是当任务过多的时候，一个个任务去启动就比较麻烦。其实dag信息是存储在数据库中的，可以通过批量修改数据库信息来达到批量启动dag任务的效 阅读全文
posted @ 2018-07-31 18:39 堕落门徒 阅读(22292) 评论(0) 推荐(1) 编辑