摘要: Spark SQL 是 Spark 众多组件中技术最复杂的组件之一,它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持,大大降低了开发人员的学习和使用成本。目前,整个 SQL 、Spark ML、Spark Graph 以及 Structured Streaming 阅读全文
posted @ 2022-02-16 10:46 一只艾米果 阅读(444) 评论(0) 推荐(0) 编辑
摘要: Spark 是专为大规模数据处理而设计的快速通用的计算引擎,是apache的一个开源项目。是一种跟hadoop相似的通用分布式并行计算框架,但是两者之间还存在一些不同之处。spark是一种基于内存计算的分布式执行框架,在执行速度上大大优于hadoop. Spark的特点 处理速度快 随着信息技术的发 阅读全文
posted @ 2022-02-16 09:32 一只艾米果 阅读(293) 评论(0) 推荐(0) 编辑