Anaconda下载安装
一、Anaconda介绍
Anaconda是一个基于Python的平台，管理主要的数据科学包，包括panda、scikit-learn、SciPy、NumPy和谷歌的机器学习平台TensorFlow。它与conda(类似于pip的安装工具)、Anaconda导航器(用于GUI体验)和spyder(用于IDE)一起打包。
1.1 conda的基本知识
Conda是Anaconda包管理和环境工具，是Anaconda的核心。它很像pip，只是它被设计用于Python、C和R包管理。Conda还以一种类似于virtualenv的方式管理虚拟环境，这这里主要介绍Conda在学习pyspark时的应用。
二、下载与安装
下载地址：清华大学开源软件镜像站
1、将文件放入/opt/moudle/目录下，并运行
$ bash Anaconda3-2020.07-Linux-x86_64.sh
2、回车键，进入注册信息页面 ；
3、按q跳过阅读，输入yes；
4、默认安装在用户目录下，直接回车即可安装；若想自定义安装目录，直接输入安装目录，回车即可；
5、Do you wish the installer to initialize Anaconda3 by running conda init ? 输入 no，回车
6、生成.condarc配置文件并更换源
$ conda config # 查看生成的配置文件 $ conda config --show channels #编辑配置文件 $ vim ~/.condarc
输入以下内容;
channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ - defaults show_channel_urls: true default_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r custom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud ssl_verify: true
ps:若源不生效，试着把.condarc文件中的 - defaults那行去掉，就不会出现这个问题了
三、Anaconda的使用
3.1 conda常用命令
#创建虚拟环境 conda create -n your_env_name python=X.X（3.6、3.7等） #激活虚拟环境 source activate your_env_name(虚拟环境名称) #退出虚拟环境 source deactivate your_env_name(虚拟环境名称) #删除虚拟环境 conda remove -n your_env_name(虚拟环境名称) --all conda remove --name your_env_name package_name # 删除环境中的某个包 #查看安装了哪些包 conda list #安装包 conda install package_name(包名) conda install scrapy==1.3 # 安装指定版本的包 conda install -n 环境名 包名 # 在conda指定的某个环境中安装包 #查看当前存在哪些虚拟环境 conda env list #或 conda info -e #或 conda info --envs #检查更新当前conda conda update conda #更新anaconda conda update anaconda #更新所有库 conda update --all #更新python conda update python 3.安装requirements.txt依赖：pip install -r requirements.txt
3.2 在pycharm中使用Anaconda
在pycharm中新建工程，File----> settings -----> Project ----> Project Interpreter
找到Anaconda安装路径，选择python.exe即可。
还可以在envs目录下选择自己创建的其他虚拟环境。
3.3 使用Conda配置pyspark环境
#创建python虚拟环境 conda create -n pyspark_env python=3.6 #激活虚拟环境 conda activate pyspark_env #安装pyspark的环境 conda install -c conda-forge pyspark
也可以手动下载 spark 安装包
tar xzvf spark-3.0.0-bin-hadoop2.7.tgz #确保环境变量指向已提取 tar 文件的目录并更新环境变量 cd spark-3.0.0-bin-hadoop2.7 export SPARK_HOME=`pwd` export PYTHONPATH=$(ZIPS=("$SPARK_HOME"/python/lib/*.zip); IFS=:; echo "${ZIPS[*]}"):$PYTHONPATH
