pyspark SQL

from pyspark.sql import HiveContext
from pyspark import SparkContext,SparkConf
import pyspark.sql.functions as F
from  pyspark.sql import SparkSession

conf = SparkConf().setAppName("abc")
sc = SparkContext(conf=conf)
hiveCtx = HiveContext(sc)
df  = hiveCtx.sql(sql) #用Hive拉数

df.cache()  # 数据载入缓存
df.show()   # 不加参数默认展示前20行
df.count()  # 统计行数
df.printSchema() # 查看schema
df.columns # 查看字段
df.dtypes # 查看字段类型
df.select('age','name') # 带show才能看到结果
df.select(df.age.alias('age_value'),'name').show() #别名
df.filter(df.name=='Alice').show() # 筛选
df.drop_duplicates() #删除重复记录
df.distinct() #去重
df.drop('id') #删除列
df.na.drop(thresh=2).show() #如果一行至少2个缺失值才删除该行
df.na.fill('unknown').show() #对所有列用同一个值填充缺失值
df.na.fill({'name':'--', 'age':0}).show() # 不同的列用不同的值填充
df.groupby('name').agg(F.max(df['age'])) # 分组计算
df.groupby('name').agg(F.max(df['age'])) # join
df.describe("age").show() # 描述性统计分析
spark.catalog.listTables()  #查看temptable

df.select(df.age+1,'age','name') # 增加列
df.select(F.lit(0).alias('id'),'age','name') # 增加列
df.unionAll(df2) # 增加行

 

#spark = SparkSession.builder.master("local").appName("Word Count").config("spark.some.config.option", "some-value").getOrCreate()
spark=SparkSession.builder.appName("boye").getOrCreate()
#d = [{"name": "Alice", "age": 12},{"name": "Bob", "age": 53}]
#df = spark.createDataFrame(d)
df =spark.read.json("file:///usr/local/test/01.json")
#df = spark.read.csv(path=path,schema=["id","name"],sep="\t",header=False)
df.show()
df.createTempView("student")
df.createOrReplaceTempView("student") #全局临时表，spark.sql("select avg(age) from global_temp.student").show()
spark.newSession().sql("SELECT * FROM global_temp.student").show()
df.createGlobalTempView("student")
spark.sql("select * from student where age<20").show()

【Example1】

spark=SparkSession.builder.appName("boye").getOrCreate()
sc = spark.sparkContext
textFile = sc.textFile("file:///usr/local/test/urls")
rdd = textFile.map(lambda x:x.split("\t")).filter(lambda x:len(x)==2)
df = spark.createDataFrame(rdd,schema=["rowkey","url"])
df.write.format("json").mode("overwrite").save("file:///usr/local/test/outPut") #保存数据
df.write.save(path='/usr/local/test/csv', format='csv', mode='overwrite', sep='\t') #保存为csv文件
df.write.mode("overwrite").saveAsTable("ss") #永久保存

【Example2】

fields = [
            ('uid',StringType()),
            ('url',StringType()),
            #('age',IntegerType())
        ]
    schema = StructType([StructField(e[0],e[1],True) for e in fields])
    df = spark.read.csv(path="/usr/local/test/urls",schema=schema,sep="\t",header=False)