20240111打卡——实验 5:Spark SQL 编程初级实践
做了什么:使用 DataFrame 和 Spark SQL 进行数据查询、Schema 定义。
学到什么:掌握 Spark SQL 和 RDD 的区别,学会使用 DataFrame API 处理结构化数据。
遇到的问题:Hive 连接 Spark 时 hive-site.xml 配置问题,DataFrame schema 处理复杂 JSON 数据时遇到解析错误。
本文作者:丰川扬子
本文链接:https://www.cnblogs.com/newzeon/p/18666083
版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步