05 2020 档案
摘要：应用程序慢如牛，原因多多，可能是网络的原因、可能是系统架构的原因，还有可能是数据库的原因。那么如何提高数据库SQL语句执行速度呢？有人会说性能调优是数据库管理员（DBA）的事，然而性能调优跟程序员们也有莫大的关系。 程序中嵌入的一行行的SQL语句，如果使用了一些优化小技巧，定能达到事半功倍的效果。技
阅读全文
摘要：最近一个上线运行良好的项目出现用户无法登录或者执行某个操作时，有卡顿现象。查看了日志，出现了大量的java.lang.OutOfMemoryError: GC overhead limit exceeded错误。 oracle官方给出了这个错误产生的原因和解决方法： Exception in thr
阅读全文
摘要：多进程进程就是正在进行的一个程序或者任务，而负责执行任务的是CPU，执行任务的地方是内存。与程序相比，程序只是一堆代码而已，而程序运行时的过程才是进程；另外同一个程序执行两次就是两个进程了。 并发与并行并发和并行都是’同时‘在工作，对于并发而言，是’伪并行‘，即看起来是同时运行，其实是频繁更换CPU
阅读全文
摘要：背景： kettle，连接MySQL数据库，我想把查询出来的结果excel输出到本地。结果其他字段都可正常导出，唯独日期类型导出为空。 最终解决办法：查询结果在输出之前要转换成文本或字符串类型。如果使用SQL写的表输入步骤，可以在SQL里做字段类型转换。如我的修改为： 需要将日期进行字符串转换 da
阅读全文
摘要：加法 select sysdate,add_months(sysdate,12) from dual; --加1年 select sysdate,add_months(sysdate,1) from dual; --加1月 select sysdate,to_char(sysdate+7,'yyyy
阅读全文
摘要：Kettle无法直接连接使用SSH通道的MySQL，需要借助工具PuTTY。下载地址为：https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html。 一、打开PuTTY，点击SSH下Tunnels，在右边Source port输入50
阅读全文
摘要：前面已经讲过定时同步，就不说了，直接说并行执行。 1.创建一个作业，建立好需要的多个转换 2.如图所示：将start-转换-成功 连接在一起 3.右击start,点击RUN NEXT。。。OK这样就能并行执行了！
阅读全文
摘要：这是坚持技术写作计划（含翻译）的第26篇，定个小目标999，每周最少2篇。 最近工作需要，需要从Oracle导数据到Mysql，并且需要进行适当的清洗，转换。数据量在5亿条左右，硬件环境为Winserver 2008R2 64位 ，64G，48核，1T hdd，kettle是8.2，从Oracle（
阅读全文
摘要："几乎所有的业务数据分析和运营工作都是围绕着“拉新”、“留存”、“促活”、“转化”4个环节来开展的。我们常常面临这样的问题，好不容易拉进来一批用户，玩着玩着就都流失了，更别谈转化和变现了。所以，弄明白“留存率”非常重要，它是衡量产品质量、运营效果的重要指标，也是预估产品盈利能力的重要参考！"01.
阅读全文
摘要：Kettle版本：3.2GAJDK版本：1.6.0_41OS：NT由于组件涉及非常多，我这就只举例几个常用的组件来进行介绍。需要了解全部组件下载Kettle用户手册下载 本弹给大家详细说明的组件：表输入、获取系统信息、表输出、字符选择、过滤记录、执行SQL语句、设置变量、获取变量 表输入（Table
阅读全文
摘要：需求： 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层，业务系统使用的是SqlServer数据库，数据仓库的缓冲层使用的是mysql数据库，为实现数据库的迁移，即将SqlServer数据库中的所有表与数据迁移到Mysql。 解决办法一：利用kettle的复制多表复制向导 过程如下: 1、选
阅读全文
摘要：前言Kettle控件分为三种：转换控件、作业控件和Hop（跳）。转换控件输入控件表输入 表输入控件是从数据库的表中读取数据的控件。我们可以在表中输入SQL语句（或者通过获取SQL查询语句获取）。比如我们通过获取SQL查询语句获取到SQL语句，我们可以预览这个转换。 预览结果如下所示： 对于查询语句而
阅读全文
摘要：英文文档连接：https://dev.mysql.com/doc/refman/5.6/en/date-and-time-functions.html mysql 获取当天0点 和 当天23点59分59秒 SELECT DATE_FORMAT('2019-08-08','%Y-%m-%d %H:%i
阅读全文