摘要： 学习内容 运算符与表达式 学习了 Python 中的算术运算符（+、-、*、/、%、**）。 掌握了比较运算符（==、!=、>、<、>=、<=）和逻辑运算符（and、or、not）。 了解了赋值运算符（=、+=、-= 等）和成员运算符（in、not in）。 控制结构 学习了条件语句 if、elif 阅读全文

摘要： 实验流程 配置 Flume 作为 Spark Streaming 数据源 配置 Flume 的 flume-spark.conf 文件，设置 netcat 源和 avro Sink。 启动 Flume，确保数据能够通过 netcat 源输入，并通过 avro Sink 输出。 编写 Spark St 阅读全文

摘要： 实验流程 使用 netcat 数据源测试 Flume 配置 Flume 的 netcat.conf 文件，设置 netcat 源和 Sink。 在一个终端中启动 Flume。 在另一个终端中使用 telnet localhost 44444 命令连接 Flume。 在 Telnet 终端中输入字符， 阅读全文

摘要： 实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载 Flume 1.7.0 安装文件，并解压到 /usr/local/flume 目录。 配置 Flume 的环境变量，确保 Flume 能够正常运行。 安装 Flume 参考实验指南，完成 F 阅读全文

摘要： 实验流程 编程实现利用 DataFrame 读写 MySQL 的数据 在 MySQL 数据库中新建数据库 sparktest，并创建表 employee，插入初始数据： 配置 Spark 通过 JDBC 连接 MySQL 数据库。 编写 Scala 程序，读取 MySQL 中的 employee 表 阅读全文

摘要： 实验流程 编程实现将 RDD 转换为 DataFrame 编写 Scala 程序，读取 employee.txt 文件，创建 RDD。 将 RDD 转换为 DataFrame，并定义列名（id、name、age）。 按“id:1,name:Ella ,age:36”的格式打印 DataFrame 的 阅读全文

摘要： 实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 安装 MySQL 数据库，并配置 Spark 的 JDBC 连接支持。 准备实验数据文件 employee.json 和 employee.txt，并上传到 Linux 系统中。 Spark SQ 阅读全文

摘要： 实验流程 编写独立应用程序实现求平均值问题 创建 Scala 项目，配置 sbt 构建工具。 编写 Spark 独立应用程序，读取多个输入文件（Algorithm、Database、Python 成绩），创建 RDD。 使用 map 操作将每行数据转换为 (学生姓名, 成绩) 的键值对。 使用 re 阅读全文

摘要： 实验流程 编写独立应用程序实现数据去重 创建 Scala 项目，配置 sbt 构建工具。 编写 Spark 独立应用程序，读取输入文件 A 和 B，创建两个 RDD。 使用 union 操作合并两个 RDD，并通过 distinct 操作去重。 将去重后的结果保存到新文件 C 中。 使用 spark 阅读全文

摘要： 实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载实验数据集 chapter5-data1.txt，并上传到 HDFS 或本地文件系统中。 spark-shell 交互式编程 启动 spark-shell，加载数据集 chapter5-dat 阅读全文