摘要:
今天是周四,今天上了软件测试以及操作系统,两门比较重要的专业课,初步学习了两节课程的入门内容 阅读全文
摘要:
今天是周三,上午上了移动应用技术开发,相比于web端的开发,只是转变到了android开发 接着又上了软件体系结构,阅读了王概凯的架构漫谈,初识架构,然后进行了大数据的数据清洗以及整理后的展示的作业。 阅读全文
摘要:
一、初识架构:原来代码世界也需要"城市规划" 以前总觉得架构就是技术大佬们用的高级框架,像Spring、微服务这些名词听着就让人头大。直到读完王概凯老师说的"架构本质是对复杂系统的切分与整合" ,就像突然打通任督二脉——这不就是我们宿舍大扫除时的分工协作嘛! 记得上学期做课程设计,我们组6个人开发图 阅读全文
摘要:
整体回顾前24天的学习记录总结问题等 阅读全文
摘要:
复习核心知识体系,整理常见面试题(宽窄依赖/数据倾斜)。在Databricks社区完成认证模拟考试,正确率达86%。 阅读全文
摘要:
综合实战:搭建电商用户画像系统。整合离线批处理和实时推荐模块,设计Lambda架构处理TB级日志数据。 阅读全文
摘要:
优化Spark SQL执行计划,通过CBO优化器调整join顺序。使用EXPLAIN命令分析查询逻辑,重写低效子查询提升3倍性能。 阅读全文
摘要:
掌握MLflow模型生命周期管理,注册随机森林模型并部署为REST API。使用Postman测试接口响应时间控制在300ms内。 阅读全文
摘要:
学习Koalas库实现pandas API到Spark的平滑迁移,重构原有数据分析代码。验证百万级数据处理时间从45分钟降至8分钟。 阅读全文
摘要:
使用GraphFrames分析社交网络关系,计算PageRank和连通组件。调试过程中优化三角计数算法,减少shuffle数据量。 阅读全文