03 2020 档案

摘要:公司数仓迁移完成了,现在所有的数据一天6T的用户行为数据全部由一个spark脚本,关联用户属性数据生成最终想要的数据。里面让我感触最深的是资源的使用spark优化,再此记录一篇关于sparksql优化的文章,专门总结以下现在使用的资源优化及以前使用的资源优化。 一:资源优化 1.对于数据处理的分组 阅读全文
posted @ 2020-03-29 22:10 Kotlin 阅读(1494) 评论(0) 推荐(0) 编辑
摘要:公司所有产品均是json数据上报给数仓使用,由于格式的不统一造成数据处理很麻烦,经过讨论将公共字段抽取出来,将业务线自己的字段放在 extends字段里面各个业务线的人自己写sql解析extends字段处理。里面涉及到一个json转map的知识点再此记录一下。 一:JSON转Map 1.为什需要将J 阅读全文
posted @ 2020-03-29 00:40 Kotlin 阅读(687) 评论(0) 推荐(0) 编辑
摘要:zset类型 本质是sorted set ,是没有重复元素的集合,根据value排序,所以可以快速的value查找 增 zadd zsortedSet 1 a 2 b 3 c (将一个或者多个值和score插入到zsortedSet) 删 zrem key value(删除value) 改 zinc 阅读全文
posted @ 2020-03-01 18:15 Kotlin 阅读(216) 评论(0) 推荐(0) 编辑

Live2D
点击右上角即可分享
微信分享提示
西雅图
13:14发布
西雅图
13:14发布
4°
东风
3级
空气质量
相对湿度
92%
今天
多云
3°/15°
周四
4°/15°
周五
4°/14°