摘要：
实验流程 Scala 语言基础学习 复习了 Scala 语言的基本语法，包括变量定义、数据类型、控制结构（如 if-else、for 循环、while 循环等）。 学习了 Scala 中的面向对象编程基础，包括类的定义、构造方法、继承、特质（Trait）等。 学习了函数式编程的基础知识，包括匿名函数 阅读全文
摘要：
实验流程 复习 Linux 常用命令 复习了前一天学习的 Linux 常用命令，包括目录切换、文件查看、目录创建、文件复制、重命名、文件编辑、文件属性修改、文件查找、打包和解压缩等操作。 通过实际操作加深了对这些命令的理解和记忆。 深入学习 Linux 系统管理 学习了 Linux 系统的用户和权限 阅读全文
摘要：
实验流程 使用 netcat 数据源测试 Flume 配置 Flume 的 netcat.conf 文件，设置 netcat 源和 Sink。 在一个终端中启动 Flume。 在另一个终端中使用 telnet localhost 44444 命令连接 Flume。 在 Telnet 终端中输入字符， 阅读全文
摘要：
实验流程 编程实现利用 DataFrame 读写 MySQL 的数据 在 MySQL 数据库中新建数据库 sparktest，并创建表 employee，插入初始数据： 配置 Spark 通过 JDBC 连接 MySQL 数据库。 编写 Scala 程序，读取 MySQL 中的 employee 表 阅读全文
摘要：
实验流程 编程实现将 RDD 转换为 DataFrame 编写 Scala 程序，读取 employee.txt 文件，创建 RDD。 将 RDD 转换为 DataFrame，并定义列名（id、name、age）。 按“id:1,name:Ella ,age:36”的格式打印 DataFrame 的 阅读全文
摘要：
实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 安装 MySQL 数据库，并配置 Spark 的 JDBC 连接支持。 准备实验数据文件 employee.json 和 employee.txt，并上传到 Linux 系统中。 Spark SQ 阅读全文
摘要：
实验流程 安装 Linux 虚拟机 下载并安装 VirtualBox 软件。 下载 Ubuntu 16.04 镜像文件。 在 VirtualBox 上创建新的虚拟机，并安装 Ubuntu 16.04 操作系统。 配置虚拟机的网络设置，确保虚拟机可以访问互联网。 使用 Linux 系统的常用命令 启动 阅读全文