摘要:
写了离线数仓的ods层和dim层。对数仓分层,及具体的操作。有了更深的了解。更加熟悉python脚本的使用。 阅读全文
摘要:
今天上午把这几个面试相关的视频看完了。但是记住的知识还是很少。只能择日再细看一遍。 下午则是写电商数仓6.0 在一遍又一遍的重复中,熟悉数仓的架构和sql语句。 阅读全文
摘要:
今天对于前后端文件的接受增加了一些了解。 除此之外,还了解了一些wav文件的具体数据。对于前面这些数据具体表示什么含义,有了一定的了解。 阅读全文
摘要:
再次写一个离线数仓。这次预计目标则是尽可能理解DWD层建表的思路。及各种框架的调优、log日志。以及大数据下的压力测试。看看能不能进行一波调优。 阅读全文
摘要:
scala的模式匹配: 很强大,也很难记住。和java相比,代码简洁了,但是熟练难度却上去了。 各种花里胡哨的模式匹配。还有很多至简原则。无疑是给新手带来了很多的麻烦。 这个scala给人的印象是:java?python?js?的集大成者??? 阅读全文
摘要:
复习一下scala的基本使用。 包括对象。至简原则。函数编程、闭包、函数柯里化、抽象控制。 阅读全文
摘要:
Flink的时间语义和CEP。 时间语义主要是因为数据由于网络等各种原因延迟到达。数据的时间戳到来的顺序并不是严格的从小到大。所以需要这个。 CEP则是模式匹配。是用于复杂的匹配场景。 阅读全文
摘要:
vuex只有第一个参数是传递参数的。没有其他参数。所以所有的数据都需要在第一个参数里面。也就是用一个对象来传递。 做到参数和文件一块传递,则就是使用put方法。params和data。params用来传递id之类的,data则是文件。 阅读全文
摘要:
DS安装好后,任务上线,启动后。但是没有实例。查看日志可知: ds的参数似乎有些不对。JVM的参数太高了。 阅读全文
摘要:
DWD层,以业务过程为建模驱动,基于每个具体业务过程的特点,构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。 时间 用户 地区 商品 优惠券 活动 度量值 订单 √ √ √ 运费/优惠金额/原始金额/最终金额 订单详情 √ √ √ √ √ √ 件数/优惠金额/原始金额/最终金额 支付 √ √ 阅读全文