sparkSQL

限定：结构化数据处理

特点：1.融合性无缝集成    2.统一数据访问：一套标准API可以访问不同数据源    3.兼容hive    4.可以通过JDBC/ODBC链接

与hive相比：内存计算/磁盘迭代  底层基于sparkrdd/基于mr  sql、代码混合执行/仅sql开发 无元数据管理/metastore

sparksql的数据抽象为dataframe，与pandas不同的是单机与集群的区别

spark2.0之后推出的sparksession，sparksession中可以取出sparkcontext，因此基于sparksession可以进行RDD或者sparksql

posted @   天启A  阅读(7)  评论(0)  编辑  收藏  举报
相关博文：
·  spark基础了解—运行层次结构、standalone与onyarn
·  RDD | 算子 | 持久化
·  Spark（八）SparkSQL概述
·  学习进度02
·  大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象 原创
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾（3.3-3.9）
· winform 绘制太阳，地球，月球 运作规律
历史上的今天：
2023-02-22 2月22日软件工程日报
2023-02-22 AS上的基础中级控件-图形定制
点击右上角即可分享
微信分享提示
AI IDE Trae