SparkSQL概述
1. SparkSQL支持的数据源
- Hive
- Scala内存中数据--集合
- 支持从RDD读取数据作SQL操作
- 支持从外部存储文件读取数据json,csv,普通结构文本文件
- 支持从关系型数据库读取数据处理(MySQL,SQL Server,Oracle)
2. SparkSQL入口
- SQLContext:只支持SQL语法
- HiveContext:是SQLContext的子类,既支持SQL语法,也支持HQL语法。但是默认情况下只能使用HQL语法,需要专门的配置才能开启SQL语法支持
- SparkSession:Spark2.0版本之后引入的,相当于是SQLContext和HiveContext的结合,比其他两者功能强大效率还高。SparkSession内部封装了一个SparkContext。严格意义上来说,SparkSession也可以当作SparkCore程序来执行入口。
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16626511.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通