3/5数仓面试必看

  1. 压缩就用gzip  汇总数据

     

     TSV

     

  2. 建表语句

     

     

     

     

  3. 全量表设计

     

     null的格式不一样,虽然显示都为空  都用空字符显示

  4. 增量表13张 和业务无关的不用拿过来

     

     

     

  5. ods数据装载 脚本

     i:4 substring方法

  6. DIM表的数据源是ods层 如果找不到不能从数据库拿过来,而是设计一个ods表,不断迭代

     

     

     

     

     

     

     

     

  7. 商品维度表建表语句

     

     

     

     

     

     

     

     

     

  8. CTE写法,提炼出来 方便维护,写SQL

     

  9. dwd 

     

     

     

     

     

     

  10. 首日无法判断历史状态,没办法,折中认为当前全是新增购物

     

     

     

  11. ADS层

     

     

     

  12. DWS

     

    表 1d 7d 30d td 依托ads层 作为中间结果复用

     有可能没有DWS层 

     纯粹靠经验,靠自己设计,一定要参考ads层

     

     

     

     

  13. dophlin调度器

     

     

     

     

     

     

     

     

     

     

     

  14. 工作流

     

     

     

     重跑整个工作流都会跑,失败重试不一样

     

     

     

     

     

     

     在hdfs上创建脚本

     

     

     

     

     

     

     

posted @   SunShine789  阅读(8)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示