架构与数仓
面试效果
- 简单名字学校，项目简介
业务
- 项目介绍：
- 数据中台数据流程，技术框架，数据分层，业务bi价值给运营使用》jdk文档，订单分析
jdk-ng-flume-kafka-hdfs-es-spark-mysql-springcloud - 智能推荐：两条线：一条cloud线一条数据线数据流程同上，发送到kafka，落存es=>spark进行asl基于用户的模型推荐，基于媒资的协同过滤推荐；通过业务接口触达C端
- 数仓：
- 用户模型：生命周期跟进：可以支持标签，画像。
- 订单模型：近两个月，追求准实时
- 价值体现：可以分析活动补贴，平台补贴，投入产出比，结合用户模型分析拉新效果。
- 规则引擎：
-
中间DRL动态化，条件组合的正则匹配，触发模型，定时模型的解决方案制定。 -
事件序列，再通过判断触发条件，画像条件，事件组合条件，定时条件等信息判断是否走对应的查询服务,查询的结果进行正则匹。 -
通过state记录中间结果,实现分段查询，进而减少ES的查询次数。 -
redis缓存利用hash结构记录deviceid：cacheid为key下的时间段，事件序列信息,另外通过维护插入时间的时间戳对缓存数据做更新删除操作;利用缓存减少了FLINK查询底层存储的次数和风险，同时也提高了计算并发性能
-
技术
数仓任务的调优: map.agg,skewdata,convert.join.noconditionaltask.size，merge.mapredfiles=true，merge.size,split.size,format,serde,.partition.mode=nonstrict;partitions=100
数仓ads存储的表设计:数据集
数仓BI查询的性能优化：索引和存储关系-聚簇和非聚簇
数仓查询性能的shoot：执行计划index scan,join operator
其他技术
架构的思想
架构-领域-模型--建模语言-事件驱动=》架构的中台
架构的技术
架构原理和认知:点线面的一个过程
分布式原理:CAP,BASE,共识算法Paxos,Raft
中间件
存储
缓存
面试效果
- 简单名字学校，项目简介
业务
- 项目介绍：
- 数据中台数据流程，技术框架，数据分层，业务bi价值给运营使用》jdk文档，订单分析
jdk-ng-flume-kafka-hdfs-es-spark-mysql-springcloud - 智能推荐：两条线：一条cloud线一条数据线数据流程同上，发送到kafka，落存es=>spark进行asl基于用户的模型推荐，基于媒资的协同过滤推荐；通过业务接口触达C端
- 数仓：
- 用户模型：生命周期跟进：可以支持标签，画像。
- 订单模型：近两个月，追求准实时
- 价值体现：可以分析活动补贴，平台补贴，投入产出比，结合用户模型分析拉新效果。
- 规则引擎：
-
中间DRL动态化，条件组合的正则匹配，触发模型，定时模型的解决方案制定。 -
事件序列，再通过判断触发条件，画像条件，事件组合条件，定时条件等信息判断是否走对应的查询服务,查询的结果进行正则匹。 -
通过state记录中间结果,实现分段查询，进而减少ES的查询次数。 -
redis缓存利用hash结构记录deviceid：cacheid为key下的时间段，事件序列信息,另外通过维护插入时间的时间戳对缓存数据做更新删除操作;利用缓存减少了FLINK查询底层存储的次数和风险，同时也提高了计算并发性能
-
技术
数仓任务的调优: map.agg,skewdata,convert.join.noconditionaltask.size，merge.mapredfiles=true，merge.size,split.size,format,serde,.partition.mode=nonstrict;partitions=100
数仓ads存储的表设计:数据集
数仓BI查询的性能优化：索引和存储关系-聚簇和非聚簇
数仓查询性能的shoot：执行计划index scan,join operator
其他技术
架构的思想
架构-领域-模型--建模语言-事件驱动=》架构的中台
架构的技术
架构原理和认知:点线面的一个过程
分布式原理:CAP,BASE,共识算法Paxos,Raft
中间件
存储
缓存
架构的公共能力
北向适配层：接口
南向适配：仓库，工厂
其他
仓库里面的：数据仓库=》领域，模型，建模语言；业务仓库=》service的缓存和工厂（存储）
事件驱动里面的：中间件技术
工厂里面的：存储，缓存，分布式原理
架构里面的：原理和认知=》基于原理和认知得到的是架构思想=》基于架构思想实现架构的中台=》基于架构的中台实现架构之上的业务和数据能力。
技术的细节
数仓的技术
java的技术
架构的公共能力
北向适配层：接口
南向适配：仓库，工厂
其他
仓库里面的：数据仓库=》领域，模型，建模语言；业务仓库=》service的缓存和工厂（存储）
事件驱动里面的：中间件技术
工厂里面的：存储，缓存，分布式原理
架构里面的：原理和认知=》基于原理和认知得到的是架构思想=》基于架构思想实现架构的中台=》基于架构的中台实现架构之上的业务和数据能力。
