摘要:
《数据产品经理:实战进阶》 作者 杨楠楠 赞誉 数据产品经理的职业使命 从业务的可持续增长,到企业自身的降本增效,再到建立业务和技术上的竞争壁垒等 前言 数据产品经理的职责是围绕数据构建解决方案,从获取数据的埋点到数据治理,从数据提取到数据可视化,从数字营销到广告,从搜索到千人千面的推荐,从风控到规 阅读全文
摘要:
java代码中引用了scala类,Maven打包编译时爆出找不到scala类的异常 原因:项目打包时,会先编译java代码,再编译scala代码。编译顺序有问题导致打包时找不到相应的scala 类 解决:添加一个Maven build的插件 <plugin> <groupId>net.alchim3 阅读全文
摘要:
报错 2021-03-26 12:18:04,517 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint [] - Shutting YarnSessionClusterEntrypoint down with application 阅读全文
摘要:
空余时间, 开始学习AI了. 学习课程链接 https://mp.weixin.qq.com/s/ut2j_mdh_nAUM0fP9aJsJw 可以一起学习交流. 贪心学院, 首席AI架构师 联系 weijiqian1126 阅读全文
摘要:
flink checkpoinnt 失败的原因见 https://blog.csdn.net/yunqiinsight/article/details/100918041 总结下就是: 作业出现了反压 解决方法: 增加并行度, 解决反压 增加checkpoint 超时时间 env.getCheckp 阅读全文
摘要:
程序员的三种发展方向--架构师,技术管理,项目经理 架构师 架构师要做的事 业务调研 需求分析 概要设计 概要设计评审 详细设计 详细设计评审 项目管理计划 项目初始化 版本控制 编码开发 系统测试 系统上线 总结:架构师主要关注技术方面,业务系统的实现方面。 技术管理 技术管理要做的事 管理规划 阅读全文
摘要:
每日站会 站会做什么? · 问题1:在上次每日站会结束之后,(昨天)你主要做了什么? · 问题2:在下次每日站会开始之前,(今天)你准备要做什么? · 问题3:你遇到了哪些问题、困难和障碍,是否需要他人协助? 实践关键点 实践关键点1:固定会议时间、锁定会议时长 实践关键点2:围绕可视化任务板站立开 阅读全文
摘要:
因为信息不对称。 例如,耐克的鞋卖1000,我们知道他的质量好。 现在出来一个新品牌A,同样有耐克的代工厂生产的,也卖1000元,你说你会买吗?这个试错成本很高。我是不会买的。 过去商业的世界靠什么赚钱? 靠信息不对称。 阿里巴巴的成功靠什么? 靠解决信息不对称。 那么,作为一个技术人员,怎么才能让 阅读全文
摘要:
数仓建表规范 基本设计思路 ODS 数据原始层 概念: ODS层是从业务系统过渡到数据仓库核心层的操作数据的存储层,ODS层的数据结构与业务系统基本保持一致,同时不做长时间的数据存储。 说明:最原始的数据,存储格式txt。 DWD 数据明细层 概念: DWD层是维度和事实属性、度量信息融合所生成的明 阅读全文
摘要:
import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ import org.apache.spark.sql.types.TimestampType import org.apache.spa 阅读全文