windows电脑上安装虚拟机

1.搭建虚拟机环境

 

1）先安装VMware10，在本机上双击VMware10.exe,安装过程要用密钥，双击VM10KeyGen.exe会生成密钥，输入就可以了

 

2）在VMware中新建虚拟机，加载系统，选CentOS-7-x86_64-Minimal-1611.iso镜像文件，安装操作系统，安装过程中可以设置语言、ip等一些设置，比如虚拟机ip是192.168.60.128(通过ip addr命令查看)

cd /etc/sysconfig/network-scripts

vi  ifcfg-ens33

修改IPADDR=192.168.60.128  即是修改IP地址

service network restart     #重启网卡生效

 

3）安装好了重启，用shell通过ip连接到这台虚拟机，在shell里配置以下几项；

    a.配置网络 ：

        cd /etc/sysconfig/network-scripts/

        ls

        vi ifcfg-ens33    修改编辑这个文件，记录device这项的值，我的是ens33，把里面原来有的内容删除，删除命令，2dd就是删除1，2这两行，15dd就是删除15行，全部删除后，把下面内容拷贝进去，device改成我的ens33

 DEVICE=ens37
TYPE=Ethernet
BOOTPROTO=static
BROADCAST=192.168.19.255 

IPADDR=192.168.19.13 

GATEWAY=192.168.19.2 

NETMASK=255.255.255.0 

ONBOOT=yes
DNS10=114.114.114.114 

然后按Esc键，：wq退出保存

 

service network restart  重启网络服务，刚才配置的网络才起效

 

ping www.baidu.com  测试下网络 是不是通的

 

netstat -ntlp   查看哪些端口被占用的
-bash: netstat: 未找到命令

 

service sshd status   查看shell服务是不是开的，它开了，我们才能通过22端口连接虚拟机

 

yum install net-tools  安装网络工具插件，这样ipconfig这种命令才能执行

 

wget url    ：命令是获取下载网络 上的资源

yum -y install wget   ：安装wget插件，wget才能使用

yum -y install links ：安装浏览器，才能在虚拟机里打开网页

 

虚拟机账号：root和wcy，密码都是123456

 

2.安装python 3.6.2

在shell里，python -v查看 python版本是2.7.5，这是CentOS自带的

1）把下载的Python-3.6.2.tgz包上传到虚拟机，

  解压：tar -xvf Python-3.6.0.tgz，进入解压后的目录

mkdir /usr/local/python3   新建python要安装的目录

[root@wcy Python-3.6.2]# ./configure --prefix=/usr/local/python3     配置 

发现报错

报错信息：no acceptable C ompiler found in $PATH   是没有编辑器  gcc

执行gcc命令找不到

yum install gcc 安装一个

再执行./configure --prefix=/usr/local/python3  就好了

编译（make）、

安装（make install）

会报错：zipimport.ZipImportError: can't decompress data; zlib not available

意思是没装解压软件

yum install zlib

yum install zlib-devel

把这两个安装了，再执行make install就成功了

配置软链接：

 

    ln -s /usr/local/python3/bin/python3.6 /bin/python3
    ln -s /usr/local/python3/bin/pip3 /bin/pip3

安装python和pip模

 

3.安装superset

参考superset官网 ：https://superset.incubator.apache.org/installation.html

拷贝官网以下命令执行

sudo yum upgrade python-setuptools  #更新python-setuptools工具

sudo yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel​ #安装这些模块

pip3 install cryptography -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #安装cryptography ，后面-i那一串是阿里云镜像地址的用法
pip3 install virtualenv -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com        #安装virtualenv 
pip3 install --upgrade setuptools pip -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #更新setuptools 

在github下载https://github.com/apache/incubator-superset/tree/0.18.4版本包incubator-superset-0.18.4 .zip，上传到虚拟机

unzip incubator-superset-0.18.4 .zip #解压

进入目录：cd /home/wcy/software/incubator-superset-0.18.4目录

[root@wcy src]# pip3 install . -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com    #会执行当前目录下的 setup.py文件，把superset作为模块装到python3.6.2中去 ，. 是在本地源码安装

安装完，到任何目录，sup按Tab键，应该能出来superset，但发现不行，安装的有问题

pip3 install superset -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #通过阿里镜像安装superset

以上方法失败了，回到镜像快照python3，重新安装superset

 

#重新安装superset

yum install python-setuptools  #安装  python-setuptools，阿里云镜像没有这个，所以不能加-i那一长串

yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel​ #安装这些模块

有时候网络问题，这句一直在换其他镜像地址，安装不了，可以下载到本地安装

从它打印消息知道它的好多镜像地址，选择其中一个来下载

wget http://mirrors.btte.net/centos/7.3.1611/os/x86_64/Packages/gcc-c++-4.8.5-11.el7.x86_64.rpm   #下载gcc-c++

yum localinstall gcc-c++-4.8.5-11.el7.x86_64.rpm    #当前目录下安装刚下载的gcc-c++文件

yum install libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel​  #再安装剩下的

pip3 install cryptography -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #安装cryptography ，后面-i那一串是阿里云镜像地址的用法

pip3 install virtualenv -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com    #安装virtualenv 

pip3 install --upgrade setuptools pip -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #更新setuptools 

在github下载https://github.com/apache/incubator-superset/tree/0.18.4版本包incubator-superset-0.18.4 .zip，上传到虚拟机

unzip incubator-superset-0.18.4 .zip #解压

进入目录：cd /home/wcy/software/incubator-superset-0.18.4目录

[root@wcy src]# pip3 install . -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com    #会执行当前目录下的 setup.py文件，把superset作为模块装到python3.6.2中去 ，. 是在本地源码安装

pip3 install . -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com 

 

history   #查看最近执行了哪些命令

1 cd /etc/sysconfig/network-scripts/
2 ll
3 ls
4 vi ifcfg-ens33
5 service network restart
6 ping www.baidu.com
7 netstst -ntlp
8 netstat -ntlp
9 service sshd status
10 yum install net-tools
11 ifconfig
12 wget
13 yum -y install wget
14 yum -y install links
15 ls
16 unzip *
17 ls
18 cd olap
19 ls
20 cd src/
21 cd superset/
22 ls
23 vi con
24 vi config.py 
25 ls
26 cd ..
27 ls
28 chmod +x olap.sh 
29 ls
30 cd ..
31 cd /
32 find -name gunicorn
33 ln -s /usr/local/python3/bin/gunicorn /usr/bin/gunicorn
34 cd olap
35 ls
36 cd 
37 cd olap
38 ls
39 cd src/
40 ./olap.sh start
41 tail -f nohup.out 
42 pip3 install pymysql -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com
43 ls
44 ./olap.sh stop
45 rm -rf nohup.out 
46 ./olap.sh start
47 cat nohup.out 
48 tail -f nohup.out 
49 netstat -ntlp
50 cat nohup.out 
51 ip addr
52 ls
53 pwd
54 cd
55 ls
56 cd olap/src/
57 ls
58 vi superset/config.py 
59 cd /
60 find -name gunicorn
61 history

find -name gunicorn  #查找文件或文件夹名称

 

4.部署superset源码

 

把我们的olap源码包olap-master-ca5629752ab5178a139788e4d61a33fb2515254d.zip上传到服务器/root/目录下，

解压unzip olap-master-ca5629752ab5178a139788e4d61a33fb2515254d.zip

mv olap-master-ca5629752ab5178a139788e4d61a33fb2515254d olap

cd /root/olap/src/superset

vi config.py  把ldap和连接数据库的修改成测试环境的

chmod +x olap.sh  给olap.sh文件执行权限

ln -s /usr/local/python3/bin/gunicorn /usr/bin/gunicorn      #给gunicorn加软链

进入目录：cd /root/olap/src

./olap.sh start             #启动olap服务

./olap.sh stop     #停止olap服务
rm -rf nohup.out       #密码帮我nohup.out文件

cat nohup.out       #查看nohup.out文件内容

[root@wcy ~]# netstat -ntlp             #显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 982/sshd 
tcp 0 0 0.0.0.0:8088 0.0.0.0:* LISTEN 29983/python3.6 
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1491/master 
tcp6 0 0 :::22 :::* LISTEN 982/sshd 
tcp6 0 0 ::1:25 :::* LISTEN 1491/master

 

service firewalld status         #查看防火墙信息
service firewalld stop           #关闭防火墙


ip addr

启动好了，在浏览器访问：http://192.168.60.128:8088

发现登录页面可以，但登确定按钮报错，是没安装ldap模块，

yum install pyldap -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #安装ldap模块，就可以登录成功

 

linux上安装 jdk

将jdk1.8.rpm包上传到虚拟机

安装：rpm -ivh jdk1.8.rpm   #不用指定路径

man rpm   #查看命令的用法，有哪些参数，如  man yum

type java     #查看刚安装的jdk路径，默认安装在/usr/java/jdk1.8.0_111下

 

设置环境变量：

vi  /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_71

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

 

安装hadoop

1.创建hadoop账号

[root@wcy ~]# su
[root@wcy ~]# useradd -m hadoop -s /bin/bash     #添加hadoop用户

[root@wcy ~]# passwd hadoop    #给hadoop用户设置密码，mybigdata

 

2.安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH client、SSH server，打开终端执行如下命令进行检验

[root@wcy ~]# rpm -qa|grep ssh           
openssh-clients-6.6.1p1-31.el7.x86_64
openssh-6.6.1p1-31.el7.x86_64
openssh-server-6.6.1p1-31.el7.x86_64
libssh2-1.4.3-10.el7_2.1.x86_64

 

如果返回的结果如上图所示，包含了 SSH client 跟 SSH server，则不需要再安装

若需要安装，则可以通过 yum 进行安装（安装过程中会让你输入 [y/N]，输入 y 即可）：

1. sudo yum install openssh-clients
2. sudo yum install openssh-server

接着执行如下命令测试一下 SSH 是否可用：

1. ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。

 

这里我输入hadoop账号的密码2次都不正确，输入root的密码123456就进去了

原来我当前是root登录，切换到hadoop

su hadoop

再执行  ssh localhost就是输入hadoop的密码了

 

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先输入 exit 退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

 

1. exit # 退出刚才的 ssh localhost
2. cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
3. ssh-keygen -t rsa # 会有提示，都按回车就可以
4. cat id_rsa.pub >> authorized_keys # 加入授权
5. chmod 600 ./authorized_keys # 修改文件权限

 

 ~的含义

在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。

 

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。

 

配置JAVA环境变量：

vi /etc/profile

添加下面内容：

export JAVA_HOME=/usr/java/jdk1.8.0_111
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH