摘要：
1. 需求分析 离线T+1 需求 一般是根据前一日的数据生成报表等数据，虽然统计指标、报表繁多，但是对时效性不敏感。实时T+0 需求 主要侧重于对当日数据的实时监控，通常业务逻辑相对离线需求简单一下，统计指标也少一些，但是更注重数据的时效性，以及用户的交互性。 即席需求 临时需求，可用即席查询如Im 阅读全文
摘要：
1. 日活DAU ① SparkStreaming消费kafka数据 Kafka作为数据来源，从kafka中获取日志，kafka中的日志类型有两种，启动和事件，统计日活，只获取启动日志即可。 1. 从Redis中获取Kafka分区偏移量（将偏移量存储到redis中 ，手动维护kafka偏移量 ） 2 阅读全文
摘要：
1.canal数据采集 Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用Canal Client 用来处理获得的 相关数据。（数据库同步需要阿里的otter中间件，基于Canal） 同步mys 阅读全文
摘要：
业务数据 需求分析：当日新增付费用户首单分析 按省份| 用户性别| 用户年龄段，统计当日新增付费用户首单平均消费及人数占比 无论是省份名称、用户性别、用户年龄，订单表中都没有这些字段，需要订单（事实表）和维度表（省份、用户）进行关联，形成宽表后将数据写入到ES，通过Kibana进行分析以及 图形展示 阅读全文
摘要：
订单明细实付金额分摊以及交易额统计 需求分析 主订单的应付金额【origin_total_amount】一般是由所有订单明细的商品单价 * 数量汇总【sku_price * sku_num】组成。 但是由于优惠、运费等都是以订单为单位进行计算的，所以减掉优惠、加上运费会得到一个最终实付金额【fina 阅读全文
摘要：
Git是目前世界上最先进的分布式版本控制系统。 创始人：Linus Torvalds林纳斯·托瓦兹 经典的集中管理型（CVS、VSS、SVN） 版本管理系统： 1、版本管理的服务器一旦崩溃，硬盘损坏，代码如何恢复？ 2、程序员上传到服务器的代码要求是完整版本，但是程序员开发过程中想做小版本的管理，以 阅读全文