摘要：Spark 连接 MySQL 数据库 1. 安装启动检查 MySQL 服务 service mysql start sudo netstat -tap | grep mysql 2. Spark 连接 MySQL 驱动程序 pyspark \ --jars /usr/local/spark/jars 阅读全文

摘要：学生课程分数的 Spark SQL 分析 读学生课程分数文件 chapter4-data01.txt，创建 DataFrame。 from pyspark.sql.types import * from pyspark.sql import Row # 下面生成“表头” fields = [Stru 阅读全文

摘要：从 RDD 创建 DataFrame 1. pandas df 与 spark df 的相互转换 import pandas as pd import numpy as np arr = np.arange(9).reshape(-1,3) df_p = pd.DataFrame(arr) arr 阅读全文

摘要：Spark SQL 及其 DataFrame 的基本操作 Q & A 1. Spark SQL 出现的原因是什么? 关系数据库已经流行多年，能较好的满足各类商业公司的业务数据管理需求，但关系数据库在大数据时代已经不能满足各种新增的用户需求。用户需要从不同数据源执行各种操作（包括结构化和非结构化数据） 阅读全文