随笔分类 -  structured_streaming

摘要:是采用的将更新的维度表放在最新的分区的形式。 # coding=utf-8 from pyspark.sql.types import IntegerType, StructType from pyspark.sql import SparkSession import datetime from 阅读全文
posted @ 2021-07-15 17:44 muyue123 阅读(160) 评论(0) 推荐(0) 编辑
摘要:#CSV mySchema = StructType().add("id", IntegerType(), True).add("name",StringType(),True) df = spark.readStream.option("sep",",").option("header","fal 阅读全文
posted @ 2021-06-24 16:08 muyue123 阅读(146) 评论(0) 推荐(0) 编辑
摘要:# ratefrom pyspark.sql import SparkSession spark = SparkSession.builder. \ appName("study_structured_streaming"). \ enableHiveSupport(). \ config("spa 阅读全文
posted @ 2021-06-23 20:11 muyue123 阅读(57) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示