每日博客
厦门大学林子雨,赖永炫,陶继平 编著
《Spark 编程基础(Scala 版)》
教材配套
机房上机实验指南
实验 1 Linux 系统的安装和常用命令
(版本号: 2018 年 7 月 19 日版本)
(题目)
主讲教师:林子雨
厦门大学数据库实验室
二零一八年七月
目录
3. 在 Windows 系统和 Linux 系统之间互传文件 2
附录 2:课程教材介绍 4
附录 3:高校大数据课程公共服务平台介绍 5
主讲教师:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 1 页
厦门大学林子雨,赖永炫,陶继平 编著
《Spark 编程基础(Scala 版)》
第 1 章 大数据技术概述
教材配套机房上机实验指南
实验 1 Linux 系统的安装和常用命令
(题目)
主讲教师:林子雨
E-mail:ziyulin@xmu.edu.cn 个人主页:http://www.cs.xmu.edu.cn/linziyu
一、实验目的
(1)掌握 Linux 虚拟机的安装方法。 Spark 和 Hadoop 等大数据软件在 Linux 操作系统 上运行可以发挥最佳性能,因此,本教程中, Spark 都是在 Linux 系统中进行相关操作, 同 时,下一章的 Scala 语言也会在 Linux 系统中安装和操作。鉴于目前很多读者正在使用 Windows 操作系统, 因此,为了顺利完成本教程的后续实验, 这里有必要通过本实验, 让读 者掌握在 Windows 操作系统上搭建 Linux 虚拟机的方法。当然,安装 Linux 虚拟机只是安 装 Linux 系统的其中一种方式, 实际上, 读者也可以不用虚拟机, 而是采用双系统的方式安 装 Linux 系统。本教程推荐使用虚拟机方式。
(2)熟悉 Linux 系统的基本使用方法。本教程全部在 Linux 环境下进行实验,因此, 需要读者提前熟悉 Linux 系统的基本用法,尤其是一些常用命令的使用方法。
二、实验平台
操作系统: Windows 系统和 Ubuntu(推荐)。
虚拟机软件:推荐使用的开源虚拟机软件为 VirtualBox 。VirtualBox 是一款功能强大的 免费虚拟机软件,它不仅具有丰富的特色,性能也很优异,且简单易用,可虚拟的系统包括 Windows 、Mac OS X 、Linux 、OpenBSD 、Solaris 、IBM OS2 甚至 Android 4.0 系统等操作系 统。读者可以在 Windows 系统上安装 VirtualBox 软件,然后在 VirtualBox 上安装并且运行 Linux 操作系统。本次实验默认的 Linux 发行版为 Ubuntu16.04。
主讲教师:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 1 页
三、实验内容和要求
1 .安装 Linux 虚拟机
请登录 Windows 系统, 下载 VirtualBox 软件和 Ubuntu16.04 镜像文件。 VirtualBox 软件的下载地址:https://www.virtualbox.org/wiki/Downloads。
Ubuntu16.04 的镜像文件下载地址:http://www.ubuntu.org.cn/download/desktop。
或者也可以直接到本教程官网的“下载专区 ”的“软件 ”中下载 Ubuntu 安装文件 ubuntukylin- 16.04-desktop-amd64.iso。
首先,在Windows 系统上安装虚拟机软件VirtualBox 软件,然后在虚拟机软件VirtualBox 上安装 Ubuntu14.04 操作系统,具体请参考本教程官网的“实验指南 ”中的“在 Windows 中使用 VirtualBox 安装 Ubuntu ”。
2 .使用 Linux 系统的常用命令
启动 Linux 虚拟机, 进入 Linux 系统,通过查阅相关 Linux 书籍和网络资料,或者参考 本教程官网的“实验指南 ”的“Linux 系统常用命令 ”,完成如下操作:
(1)切换到目录 /usr/bin;
(2)查看目录/usr/local 下所有的文件;
(3)进入/usr 目录,创建一个名为 test 的目录,并查看有多少目录存在; (4)在/usr 下新建目录 test1,再复制这个目录内容到/tmp;
(5)将上面的/tmp/test1 目录重命名为 test2;
(6)在/tmp/test2 目录下新建 word.txt 文件并输入一些字符串保存退出;
(7)查看 word.txt 文件内容;
(8)将 word.txt 文件所有者改为 root 帐号, 并查看属性;
(9)找出/tmp 目录下文件名为 test2 的文件;
(10)在/目录下新建文件夹 test,然后在/目录下打包成 test.tar.gz;
(11)将 test.tar.gz 解压缩到/tmp 目录。
3. 在 Windows 系统和 Linux 系统之间互传文件
本教程大量实验都是在 Linux 虚拟机上完成, 因此,需要掌握如何把 Windows 系统中 的文件上传到 Linux 系统,以及如何把 Linux 系统中的文件下载到 Windows 系统中。
首先, 到本教程官网的“下载专区 ”中的“软件 ”目录中,下载 FTP 软件 FileZilla 的安装 文件 FileZilla_3.17.0.0_win64_setup.exe,把 FileZilla 安装到 Windows 系统中;然后, 请参考 本教程官网“实验指南 ”栏目的“在 Windows 系统中利用 FTP 软件向 Ubuntu 系统上传文 件 ”,完成以下操作:
(1)在 Windows 系统中新建一个文本文件 test.txt,并通过 FTP 软件 FileZilla,把 test.txt 上传到 Linux 系统中的“/home/hadoop/下载” 目录下,把利用 Linux 命令把该文件名修改为 test1.txt;
(2)通过 FTP 软件 FileZilla,把 Linux 系统中的“/home/hadoop/下载 ”目录下的 test1.txt
主讲教师:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 2 页
文件下载到 Windows 系统的某个目录下。
主讲教师:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 3 页