摘要： 1、当TestOnBorrow=false时 生产环境连接池TestOnBorrow设置为false，导致有时获取的连接不可用。 TestOnBorrow=false时，由于不检测池里连接的可用性，于是假如连接池中的连接被数据库关闭了，应用通过连接池getConnection时，都可能获取到这些不可 阅读全文

摘要： 1、星型模型 星型模式是多维的数据关系，它由事实表（Fact Table）和维表（Dimension Table）组成。每个维表中都会有一个维作为主键，所有这些维的主键结合成事实表的主键。事实表的非主键属性称为事实，它们一般都是数值或其他可以进行计算的数据。 在多维分析的商业智能解决方案中，根据事实 阅读全文

摘要： Running LLAP as a YARN Service 因为 Apache Slider 已经不维护了，下面介绍 不使用 Slider 的 LLAP使用方式。 参考： https://blog.cloudera.com/apache-hive-llap-as-a-yarn-service/ 将 阅读全文

摘要： Quartz cron表达式 Cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Cron有如下两种语法格式： （1） Seconds Minutes Hours DayofMonth Month DayofWeek Year （2）Seconds Minut 阅读全文

摘要： Apache NiFi 核心概念和关键特性 翻译自官方文档 NiFi 的核心概念 核心概念如下: FlowFileFlowFile表示在系统中移动的每个对象，FlowFile由两部分组成: content 内容 既数据本身 attributes 属性 每条数据带上的属性信息.以键值对的形式. Flo 阅读全文

摘要： Hive llap服务安装说明及测试 1.简介说明 从Hive 2.0引入了LLAP（Live Long And Process），2.1进行了比较大的优化，可以说hive已经走向了内存计算， 目前hortonworks测试llap +tez比hive1.x快了25倍，禁不住诱惑来玩一下 2.LLA 阅读全文

摘要： Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 阅读全文

摘要： 参考：https://blog.csdn.net/MrZhangBaby/article/details/89636486 "name" : 对应的datax中自定义Transformer名字, 固定格式: dx_groovy "parameter": Transformer参数 "code" :  阅读全文

摘要： 启动步骤解析 1、解析配置，包括job.json、core.json、plugin.json三个配置 2、设置jobId到configuration当中 3、启动Engine，通过Engine.start()进入启动程序 4、设置RUNTIME_MODE奥configuration当中 5、通过Jo 阅读全文

摘要： 真正的执行都是在这里完成，start代码如下： View Code 主要执行流程为： 1、preHandle()：job前置操作 2、init()：初始化reader和writer 3、prepare()：执行插件的prepare操作 4、split()：切分任务 5、schedule()：执行任务 阅读全文