02 2025 档案
摘要:架构的定义:复杂问题的拆解艺术 在王概凯的《架构漫谈》中,架构被赋予了一种独特而深刻的定义:架构是根据要解决的问题,对目标系统的边界进行界定,并把目标系统按某一原则进行切分,减少解决问题的成本,并对切分出来的部分建立沟通机制,使得这些切分出来的部分能组装成一个整体。这一定义,犹如一把钥匙,为我们打开
阅读全文
摘要:学习内容:项目需求分析。技术选型与架构设计。数据流与处理逻辑的设计。
阅读全文
摘要:学习内容:Spark 3.x版本的新特性。Delta Lake与Iceberg的集成。Spark在云原生环境中的应用。
阅读全文
摘要:学习内容:生产环境的最佳实践。容错机制与高可用性。监控与报警系统。
阅读全文
摘要:学习内容:HDFS、Cassandra、Elasticsearch等存储系统的集成。Flink与Spark的对比及协同工作。REST API的使用。
阅读全文
摘要:学习内容:处理无界数据集。Stateful操作与事件时间处理。故障恢复与容错机制。
阅读全文
摘要:学习内容:Structured Streaming与传统Streaming的区别。Output Modes(Append、Update、Complete)。Watermark机制。
阅读全文
摘要:学习内容:Catalyst优化器的工作原理。Tungsten项目的作用。数据分区与广播连接。
阅读全文
摘要:学习内容:推荐系统(ALS算法)。深度学习与Spark的结合。模型持久化与部署。
阅读全文
摘要:学习内容:背压机制(Backpressure)。数据批处理与延迟优化。内存管理与序列化。
阅读全文