SparkSQL概述

1. SparkSQL支持的数据源

  1. Hive
  2. Scala内存中数据--集合
  3. 支持从RDD读取数据作SQL操作
  4. 支持从外部存储文件读取数据json,csv,普通结构文本文件
  5. 支持从关系型数据库读取数据处理(MySQL,SQL Server,Oracle)

2. SparkSQL入口

  1. SQLContext:只支持SQL语法
  2. HiveContext:是SQLContext的子类,既支持SQL语法,也支持HQL语法。但是默认情况下只能使用HQL语法,需要专门的配置才能开启SQL语法支持
  3. SparkSession:Spark2.0版本之后引入的,相当于是SQLContext和HiveContext的结合,比其他两者功能强大效率还高。SparkSession内部封装了一个SparkContext。严格意义上来说,SparkSession也可以当作SparkCore程序来执行入口。
posted @   jsqup  阅读(18)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示