05 2021 档案

09 spark连接mysql数据库
摘要：1、安装启动检查Mysql服务。 mysql -u root -p 2、spark 连接mysql驱动程序。 pyspark \ > --jars /usr/local/spark/jars/mysql-connector-java-8.0.25.jar \ > --driver-class-pat 阅读全文
posted @ 2021-05-29 22:46 隔壁老尤 阅读(129) 评论(0) 推荐(0)
08 学生课程分数的Spark SQL分析
摘要：读学生课程分数文件chapter4-data01.txt，创建DataFrame。 >>> url = "file:///usr/local/spark/mycode/rdd/chapter4-data01.txt" >>> rdd = spark.sparkContext.textFile(url 阅读全文
posted @ 2021-05-19 20:46 隔壁老尤 阅读(82) 评论(0) 推荐(0)
07 从RDD创建DataFrame
摘要：0.前次作业：从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() >>> import pandas as pd >>> import numpy as np 阅读全文
posted @ 2021-05-13 00:00 隔壁老尤 阅读(69) 评论(0) 推荐(0)
06 Spark SQL 及其DataFrame的基本操作
摘要：1.Spark SQL出现的 原因是什么? 答：Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 2.用spark.read 阅读全文
posted @ 2021-05-09 14:34 隔壁老尤 阅读(85) 评论(0) 推荐(0)