Mr_Cxy

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

随笔分类 -  ETL工具_kettle

tests
摘要:test 阅读全文

posted @ 2018-02-25 23:03 Mr_Cxy 阅读(257) 评论(0) 推荐(0) 编辑

Python 2.7_pandas连接MySQL数据处理_20161229
摘要:在我本地Mysql_local_db数据库建立了一个pandas数据表用来对pandas模块的学习 学习过程借鉴学习蓝鲸的网站分析笔记 1、创建表 2、Kettle导入测试数据 对数据进行了处理 3、执行SQL查询数据 4、Pycharm中编写代码 用pandas模块进行连接MySQL数据库 num 阅读全文

posted @ 2016-12-29 22:58 Mr_Cxy 阅读(432) 评论(0) 推荐(0) 编辑

kettle定时任务_第三方合作方有订单自动发送邮件通知_20161214
摘要:由于和第三方合作,需要知道第三方合作方有了订单后通知对方,如果每天查看数据太麻烦了,因此想到了用Kettle定时任务,先判断系统里有没有订单,如果有就执行查询调取订单数据并发送邮件作业,如果没有则不执行 这里用了kettle 条件栏里 计算表中的记录数 这个空间,通过自定义SQL 判断数据的行数,如 阅读全文

posted @ 2016-12-14 21:34 Mr_Cxy 阅读(364) 评论(0) 推荐(0) 编辑

MySQL_财务统计各产品品类各城市上周收入毛利表_20161202
摘要:注:财务需要统计各产品品类各城市上周毛利情况 下面这样的表是沟通后展现的形式。数据展现形式我认为的大都是行列转 列转行的转置 从财务角度这样展现形式比较适合。 由于黄色部分为汇总项目,因此我拆分成9个转换步骤 类似纵向合并 只是汇总和各品类的字段不同无法纵向合并 因此用kettle时候汇总的各自成一 阅读全文

posted @ 2016-12-02 23:07 Mr_Cxy 阅读(757) 评论(0) 推荐(0) 编辑

kettle转换提高性能拆分转换步骤_20161201
摘要:今天是12月1号,前期用kettle做了月报自动报表的转换和作业,今天运行时候发现一个报表的程序跑起来失败,心里很纳闷,上过月刚跑的没问题,怎么会无缘无故的失败。 通过看kettle运行日志,发现一个错误,c盘left no space 也就是在系统盘上没有足够的空间存储临时表,这时候才考虑到可能是 阅读全文

posted @ 2016-12-01 22:39 Mr_Cxy 阅读(1301) 评论(0) 推荐(0) 编辑

kettle导数删除并插入更新数据_20161130
摘要:这里有3个表 仅是时间维度不同 天 周 月,现在需要把昨天数据每天添加进入这3个表 由于业务上会有退货等情况,因此需要先把这些表原来的部分数据删除 再从那个时间点进行更新。 天需要先删除前7天的数据,周需要删除前2周数据,月需要删除2个月之前数据 以保证数据准确 kettle 中提供了执行SQL脚本 阅读全文

posted @ 2016-11-30 21:39 Mr_Cxy 阅读(2054) 评论(0) 推荐(0) 编辑

kettle每天自动发送邮件总结_20161128
摘要:kettle作为java开发的工具,很多功能在目前工作中还用不到,原来它也是支持java代码的,现在用到的也就是它从服务器导数到数据库,然后再进行数据处理的功能。 如何快速学会使用kettle发送邮件,之前也写过具体的例子,最核心的还是写SQL,熟悉整个业务流水,业务逻辑。 总结起来大致为: (1) 阅读全文

posted @ 2016-11-28 14:34 Mr_Cxy 阅读(364) 评论(0) 推荐(0) 编辑

MySQL11月16-11月21日活动赠送的优惠券使用率_20161124
摘要:一、11.16到21号活动规则是 单笔订单最高的金额划分客户为399,799,1599元三档 达标的分别赠送对应的优惠券 优惠券ID有标号区间 二、由于达标客户会分多张优惠券 因此我们将发放优惠券表和使用优惠券表连接起来 以发放表为主表 后面表为从表 这样可以查看给每个用户每张优惠券在未来一段时间内 阅读全文

posted @ 2016-11-24 14:19 Mr_Cxy 阅读(221) 评论(0) 推荐(0) 编辑

kettle监控销售人员当月每天任务完成率_20161107周一
摘要:1、上面是目标表,其中激活客户数为当月每天之前30天未下单的客户 2、写SQL 3、做excel模板 将上面SQL数据导入excel中 设置好格式表头 删除数据 还是用到SUMif函数 把所有销售员当月每天的这两个指标都用公式计算出来 4、保存excel模板 文件名设置成英文名 * _style.x 阅读全文

posted @ 2016-11-07 14:55 Mr_Cxy 阅读(328) 评论(0) 推荐(0) 编辑

kettle结合MySQL生成保留最近6个月月度报告_20161009
摘要:之前计算用户ID各月的金额(各月在列字段),用的是下面代码 a.日常报表中一般下个月月初做上个月报表,随着时间推移文件越来越大,很多历史数据或许也没有多少价值,如果我们想生成固定的保留几个月的数据,比如总是保持最近6个月的数据,如何实现?原来如果计划保持最近6个月的 出报表的时候 就需要手动修改su 阅读全文

posted @ 2016-10-09 10:42 Mr_Cxy 阅读(715) 评论(0) 推荐(0) 编辑

结合Mysql和kettle邮件发送日常报表_20161001
摘要:十一假期 参加婚礼 稍晚点发博 整体流程步骤是: 写SQL-导出到excel设定excel模板调整格式-设置kettle转换--设置kettle邮件作业--完成 第一、写SQL 保持最近12个周的数据 SELECT city AS 城市,DATE_FORMAT(order_date,"%x%v") 阅读全文

posted @ 2016-09-30 12:26 Mr_Cxy 阅读(945) 评论(0) 推荐(0) 编辑

kettle导数到user_用于left join_20160928
摘要:这篇博客主要是给mysql left join做铺垫,需要现在本地数据库创建一个users 数据表 然后去和 test_a03order表 left join 一、首先在local_db数据库先创建username表 二、写导数SQL 从服务器导数作为测试 需要先对电话 地址等信息进行修改 这里用c 阅读全文

posted @ 2016-09-28 12:04 Mr_Cxy 阅读(1316) 评论(0) 推荐(0) 编辑

kettle及数据库导数_20160920
摘要:一、kettle是什么。 Kettle是一款国外开源的ETL( Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)工具,纯java编写,可以在Window、Linux、Unix上运行,数 阅读全文

posted @ 2016-09-20 19:03 Mr_Cxy 阅读(1499) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示