2021 年 3月 9 日随笔档案 - ziyuliu

2021年3月9日

摘要：练习了sparksql+hive学习阅读全文

posted @ 2021-03-09 22:48 ziyuliu 阅读(37) 评论(0) 推荐(0) 编辑

摘要：我这里spark3.0.1+hive3.1.2 先启动Hive的metastore node2 nohup /usr/local/hive/bin/hive --service metastore & jps 把hive的配置文件hive-site.xml拷贝到spark/conf目录,把mysql 阅读全文

posted @ 2021-03-09 22:36 ziyuliu 阅读(223) 评论(0) 推荐(0) 编辑

SparkSQL花式查询

摘要：需求:针对personDF中的数据使用SQL和DSL两种方式进行各种查询 package cn.itcast.sql import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spar 阅读全文

posted @ 2021-03-09 13:06 ziyuliu 阅读(290) 评论(0) 推荐(0) 编辑

RDD-DF-DS相互转换

摘要： package cn.itcast.sql import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, Row, Spark 阅读全文

posted @ 2021-03-09 11:22 ziyuliu 阅读(599) 评论(0) 推荐(0) 编辑

Flamel

公告