Linux安装anaconda集成spark

安装anaconda

1.从官网下载Linux版本的anaconda，https://repo.anaconda.com/archive/

cd /export/software

2.安装anaconda，执行下列命令

bash Anaconda3-2021.05-Linux-x86_64.sh

3.在安装过程中会显示配置路径

PREFIX=/home/hadoop/anaconda3

4.安装完之后，配置环境变量

vim /etc/profile

增加如下配置

export ANACONDA_HOME=/home/hadoop/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin

source /etc/profile

创建虚拟环境：

conda  create -n pyspark python=3.8.8

# To activate this environment, use
#
#     $ conda activate pyspark
#
# To deactivate an active environment, use
#
#     $ conda deactivate

root@sgc-VirtualBox:/home/hadoop/Desktop# source deactivate
DeprecationWarning: 'source deactivate' is deprecated. Use 'conda deactivate'.
root@sgc-VirtualBox:/home/hadoop/Desktop# source activate
(base) root@sgc-VirtualBox:/home/hadoop/Desktop# source deactivate
DeprecationWarning: 'source deactivate' is deprecated. Use 'conda deactivate'.
root@sgc-VirtualBox:/home/hadoop/Desktop# conda activate pyspark
(pyspark) root@sgc-VirtualBox:/home/hadoop/Desktop# 

虚拟环境下安装 PySpark：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

查看解释器设置：

发现pycharm里面已经存在了pyspark这个库了

补充查看磁盘大小操作：

无论是Linux还是unix，都提供了很多工具来查看磁盘空间的大小。

1. df命令，df命令，可以查看当前文件系统占用的空间的大小，以及剩余的大小，如下例子:

Filesystem 1K-blocks Used Available Use% Mounted on/dev/loop0 18761008 15246876 2554440 86% /none 4 0 4 0% /sys/fs/cgroupudev 493812 4 493808 1% /devtmpfs 100672 1364 99308 2% /runnone 5120 0 5120 0% /run/locknone 503352 1764 501588 1% /run/shmnone 102400 20 102380 1% /run/user/dev/sda3 174766076 164417964 10348112 95% /host

*上面的结果是直接输入df显示出来的结果，如果想看的形象一点，可以在后面加上-h参数，如下：*

Filesystem Size Used Avail Use% Mounted on/dev/loop0 18G 15G 2.5G 86% /none 4.0K 0 4.0K 0% /sys/fs/cgroupudev 483M 4.0K 483M 1% /devtmpfs 99M 1.4M 97M 2% /runnone 5.0M 0 5.0M 0% /run/locknone 492M 1.8M 490M 1% /run/shmnone 100M 20K 100M 1% /run/user/dev/sda3 167G 157G 9.9G 95% /host

2. 第二个很实用的命令是du，这个命令可以显示当前文件所占用的空间大小，用法：“du [filename]”,如下：

8.0K file1.txt8.0K file2.txt10.0K file3.txt2.0K file4.txt8.0K file5.txt8.0K file6.txt44.0K total

说明，上图中的效果也是在du后面加上-h参数才会这么形象的输入。