05 2021 档案

spark连接mysql数据库

摘要：1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysq 阅读全文

posted @ 2021-05-29 19:47 小王子C 阅读(395) 评论(0) 推荐(0) 编辑

学生课程分数的Spark SQL分析

摘要：读学生课程分数文件chapter4-data01.txt，创建DataFrame。 url = "file:///D:/chapter4-data01.txt" rdd = spark.sparkContext.textFile(url).map(lambda line:line.split(',' 阅读全文

posted @ 2021-05-17 20:58 小王子C 阅读(671) 评论(0) 推荐(0) 编辑

从RDD创建DataFrame

摘要：0.前次作业：从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() # 从数组创建pandas dataframe import pandas as pd im 阅读全文

posted @ 2021-05-10 19:31 小王子C 阅读(184) 评论(0) 推荐(0) 编辑

Spark SQL 及其DataFrame的基本操作

摘要：1.Spark SQL出现的原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data 阅读全文

posted @ 2021-05-09 19:47 小王子C 阅读(235) 评论(0) 推荐(0) 编辑