01 2025 档案
摘要：实验流程 编写独立应用程序实现求平均值问题 创建 Scala 项目，配置 sbt 构建工具。 编写 Spark 独立应用程序，读取多个输入文件（Algorithm、Database、Python 成绩），创建 RDD。 使用 map 操作将每行数据转换为 (学生姓名, 成绩) 的键值对。 使用 re
阅读全文
摘要：实验流程 编写独立应用程序实现数据去重 创建 Scala 项目，配置 sbt 构建工具。 编写 Spark 独立应用程序，读取输入文件 A 和 B，创建两个 RDD。 使用 union 操作合并两个 RDD，并通过 distinct 操作去重。 将去重后的结果保存到新文件 C 中。 使用 spark
阅读全文
摘要：实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载实验数据集 chapter5-data1.txt，并上传到 HDFS 或本地文件系统中。 spark-shell 交互式编程 启动 spark-shell，加载数据集 chapter5-dat
阅读全文
摘要：实验流程 Spark 读取 HDFS 文件 启动 spark-shell，读取 HDFS 中的文件 /user/hadoop/test.txt，并统计文件的行数。 验证统计结果是否正确。 编写独立应用程序 编写一个独立的 Scala 应用程序，读取 HDFS 中的文件 /user/hadoop/te
阅读全文
摘要：实验流程 HDFS 常用操作 使用 hadoop 用户名登录 Linux 系统，启动 Hadoop 服务。 在 HDFS 中创建用户目录 /user/hadoop。 在本地文件系统的 /home/hadoop 目录下新建一个文本文件 test.txt，并上传到 HDFS 的 /user/hadoop
阅读全文
摘要：实验流程 实验环境准备 确保 Linux 虚拟机（Ubuntu 16.04）已正确安装并配置。 下载 Hadoop 2.7.1 和 Spark 2.1.0 的安装包。 配置 Java 环境变量，确保 Hadoop 和 Spark 能够正常运行。 安装 Hadoop 参考实验指南，完成 Hadoop
阅读全文
摘要：实验流程 复习 Scala 语言基础 复习了前一天学习的 Scala 语言基础，包括基本语法、面向对象编程和函数式编程。 通过编写简单的 Scala 程序，巩固了对 Scala 语言的理解。 实验 3：统计学生成绩 编写 Scala 程序，读取学生成绩清单，统计各门课程的平均成绩、最低成绩和最高成绩
阅读全文
摘要：实验流程 Scala 语言基础学习 复习了 Scala 语言的基本语法，包括变量定义、数据类型、控制结构（如 if-else、for 循环、while 循环等）。 学习了 Scala 中的面向对象编程基础，包括类的定义、构造方法、继承、特质（Trait）等。 学习了函数式编程的基础知识，包括匿名函数
阅读全文
摘要：实验流程 复习 Linux 常用命令 复习了前一天学习的 Linux 常用命令，包括目录切换、文件查看、目录创建、文件复制、重命名、文件编辑、文件属性修改、文件查找、打包和解压缩等操作。 通过实际操作加深了对这些命令的理解和记忆。 深入学习 Linux 系统管理 学习了 Linux 系统的用户和权限
阅读全文
摘要：实验流程 安装 Linux 虚拟机 下载并安装 VirtualBox 软件。 下载 Ubuntu 16.04 镜像文件。 在 VirtualBox 上创建新的虚拟机，并安装 Ubuntu 16.04 操作系统。 配置虚拟机的网络设置，确保虚拟机可以访问互联网。 使用 Linux 系统的常用命令 启动
阅读全文
