本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

1.安装Linux

(1)新建虚拟电脑

 

(2)配置虚拟电脑

(3)完成虚拟电脑的配置

(4)添加ubuntu ISO镜像文件进行ubuntu操作系统安装

(5)对ubuntu进行分区

 

(5)添加用户,至此完成安装,重启登录

2.安装MySql

(1)保证在联网状态下安装

(2)启动与关闭mysql数据库

(3)查看是否启动成功

(4)进入mysql

(5)显示数据库

(6)查看数据库中的表

(7)修改并查看数据库的编码

 

3.windows 与 虚拟机互传文件

详细教程请查看:https://www.cnblogs.com/dong-blog/p/7207831.html

(1)安装VirtualBox增强功能包

(2)在本机系统设置一个共享文件夹,用于与Ubuntu交互的区域空间。

(3)设置共享配置

(4)共享成功

 

4.安装Hadoop

还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件:

提取文件:hadoop-2.7.1.tar.gz

链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg

提取码: 2thj

(1)创建hadoop用户,设置用户名和密码,最后添加管理员权限

(2)安装ssh,ssh无密码登录

(3)复制hadoop-2.7.1.tar.gz到/usr/local中,我的hadoop-2.7.1.tar.gz文件源在/mnt/share/hadoop-2.7.1.tar.gz,解压后把名字改成hadoop,并修改文件权限为hadoop

(4)查看hadoop是否可用

 (5)安装OpenJDK的java环境,修改~/.bashrc文件:在文件最前面或最后添加如下单独一行(注意,等号“=”前后不能有空格)

(6)使环境变量生效,并查看设置是否正确

 

(7)运行单机版实例,出现一个dfsadmin信息即单机版成功安装

(8)伪分布式配置:修改配置文件 core-site.xml 和 hdfs-site.xml,并执行 NameNode 的格式化

<configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
core-site.xml
<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
    </configuration>
hdfs-site.xml

(9)启动NameNode”、”DataNode” 和 “SecondaryNameNode”进程,并查看是否成功启动

(10)伪分布式读取的是 HDFS 上的数据,要使用 HDFS。

首先需要在 HDFS 中创建用户目录;创建目录 input,其对应的绝对路径就是 /user/hadoop/input:;将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。

查看文件列表:

(11)运行伪分布式实例,并将结果复制到本地

附:问题解决

问题:运行实例时,出现虚拟机内存不够分配的情况

解决方法一:在root用户下用echo 65530  /proc/sys/vm/max_map_count分配足够大的内存

解决方法去二:创建swapfile,将swapfile设置为swap空间,启用交换空间