从关系型数据库中创建DataFrame

  • 说明:
/*
需要引入依赖
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.18</version>
</dependency>
*/
  • 代码:
object MySQLToDataFrame {
def main(args: Array[String]): Unit = {
val sc = new SparkConf().setMaster("local[2]").setAppName("demo")
val session = SparkSession.builder().config(sc).getOrCreate()
val properties = new Properties()
properties.put("driver", "com.mysql.cj.jdbc.Driver")
properties.put("user", "root")
properties.put("password", "Jsq123456...")
val dataFrame = session.read.jdbc("jdbc:mysql://node1:3306/project?serverTimeznoe=UTC", "area_pvs", properties)
dataFrame.show()
}
}
posted @   jsqup  阅读(16)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
点击右上角即可分享
微信分享提示