摘要:在我本地Mysql_local_db数据库建立了一个pandas数据表用来对pandas模块的学习 学习过程借鉴学习蓝鲸的网站分析笔记 1、创建表 2、Kettle导入测试数据 对数据进行了处理 3、执行SQL查询数据 4、Pycharm中编写代码 用pandas模块进行连接MySQL数据库 num
阅读全文
摘要:由于和第三方合作,需要知道第三方合作方有了订单后通知对方,如果每天查看数据太麻烦了,因此想到了用Kettle定时任务,先判断系统里有没有订单,如果有就执行查询调取订单数据并发送邮件作业,如果没有则不执行 这里用了kettle 条件栏里 计算表中的记录数 这个空间,通过自定义SQL 判断数据的行数,如
阅读全文
摘要:注:财务需要统计各产品品类各城市上周毛利情况 下面这样的表是沟通后展现的形式。数据展现形式我认为的大都是行列转 列转行的转置 从财务角度这样展现形式比较适合。 由于黄色部分为汇总项目,因此我拆分成9个转换步骤 类似纵向合并 只是汇总和各品类的字段不同无法纵向合并 因此用kettle时候汇总的各自成一
阅读全文
摘要:今天是12月1号,前期用kettle做了月报自动报表的转换和作业,今天运行时候发现一个报表的程序跑起来失败,心里很纳闷,上过月刚跑的没问题,怎么会无缘无故的失败。 通过看kettle运行日志,发现一个错误,c盘left no space 也就是在系统盘上没有足够的空间存储临时表,这时候才考虑到可能是
阅读全文
摘要:这里有3个表 仅是时间维度不同 天 周 月,现在需要把昨天数据每天添加进入这3个表 由于业务上会有退货等情况,因此需要先把这些表原来的部分数据删除 再从那个时间点进行更新。 天需要先删除前7天的数据,周需要删除前2周数据,月需要删除2个月之前数据 以保证数据准确 kettle 中提供了执行SQL脚本
阅读全文
摘要:kettle作为java开发的工具,很多功能在目前工作中还用不到,原来它也是支持java代码的,现在用到的也就是它从服务器导数到数据库,然后再进行数据处理的功能。 如何快速学会使用kettle发送邮件,之前也写过具体的例子,最核心的还是写SQL,熟悉整个业务流水,业务逻辑。 总结起来大致为: (1)
阅读全文
摘要:一、11.16到21号活动规则是 单笔订单最高的金额划分客户为399,799,1599元三档 达标的分别赠送对应的优惠券 优惠券ID有标号区间 二、由于达标客户会分多张优惠券 因此我们将发放优惠券表和使用优惠券表连接起来 以发放表为主表 后面表为从表 这样可以查看给每个用户每张优惠券在未来一段时间内
阅读全文
摘要:1、上面是目标表,其中激活客户数为当月每天之前30天未下单的客户 2、写SQL 3、做excel模板 将上面SQL数据导入excel中 设置好格式表头 删除数据 还是用到SUMif函数 把所有销售员当月每天的这两个指标都用公式计算出来 4、保存excel模板 文件名设置成英文名 * _style.x
阅读全文
摘要:之前计算用户ID各月的金额(各月在列字段),用的是下面代码 a.日常报表中一般下个月月初做上个月报表,随着时间推移文件越来越大,很多历史数据或许也没有多少价值,如果我们想生成固定的保留几个月的数据,比如总是保持最近6个月的数据,如何实现?原来如果计划保持最近6个月的 出报表的时候 就需要手动修改su
阅读全文
摘要:十一假期 参加婚礼 稍晚点发博 整体流程步骤是: 写SQL-导出到excel设定excel模板调整格式-设置kettle转换--设置kettle邮件作业--完成 第一、写SQL 保持最近12个周的数据 SELECT city AS 城市,DATE_FORMAT(order_date,"%x%v")
阅读全文
摘要:这篇博客主要是给mysql left join做铺垫,需要现在本地数据库创建一个users 数据表 然后去和 test_a03order表 left join 一、首先在local_db数据库先创建username表 二、写导数SQL 从服务器导数作为测试 需要先对电话 地址等信息进行修改 这里用c
阅读全文
摘要:一、kettle是什么。 Kettle是一款国外开源的ETL( Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)工具,纯java编写,可以在Window、Linux、Unix上运行,数
阅读全文