Anaconda下载安装
一、Anaconda介绍
Anaconda是一个基于Python的平台,管理主要的数据科学包,包括panda、scikit-learn、SciPy、NumPy和谷歌的机器学习平台TensorFlow。它与conda(类似于pip的安装工具)、Anaconda导航器(用于GUI体验)和spyder(用于IDE)一起打包。
1.1 conda的基本知识
Conda是Anaconda包管理和环境工具,是Anaconda的核心。它很像pip,只是它被设计用于Python、C和R包管理。Conda还以一种类似于virtualenv的方式管理虚拟环境,这这里主要介绍Conda在学习pyspark时的应用。
二、下载与安装
下载地址:清华大学开源软件镜像站
1、将文件放入/opt/moudle/目录下,并运行
$ bash Anaconda3-2020.07-Linux-x86_64.sh
2、回车键,进入注册信息页面 ;
3、按q跳过阅读,输入yes;
4、默认安装在用户目录下,直接回车即可安装;若想自定义安装目录,直接输入安装目录,回车即可;
5、Do you wish the installer to initialize Anaconda3 by running conda init ? 输入 no,回车
6、生成.condarc配置文件并更换源
$ conda config # 查看生成的配置文件 $ conda config --show channels #编辑配置文件 $ vim ~/.condarc
输入以下内容;
channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ - defaults show_channel_urls: true default_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r custom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud ssl_verify: true
ps:若源不生效,试着把.condarc文件中的 - defaults那行去掉,就不会出现这个问题了
三、Anaconda的使用
3.1 conda常用命令
#创建虚拟环境 conda create -n your_env_name python=X.X(3.6、3.7等) #激活虚拟环境 source activate your_env_name(虚拟环境名称) #退出虚拟环境 source deactivate your_env_name(虚拟环境名称) #删除虚拟环境 conda remove -n your_env_name(虚拟环境名称) --all conda remove --name your_env_name package_name # 删除环境中的某个包 #查看安装了哪些包 conda list #安装包 conda install package_name(包名) conda install scrapy==1.3 # 安装指定版本的包 conda install -n 环境名 包名 # 在conda指定的某个环境中安装包 #查看当前存在哪些虚拟环境 conda env list #或 conda info -e #或 conda info --envs #检查更新当前conda conda update conda #更新anaconda conda update anaconda #更新所有库 conda update --all #更新python conda update python 3.安装requirements.txt依赖:pip install -r requirements.txt
3.2 在pycharm中使用Anaconda
在pycharm中新建工程,File----> settings -----> Project ----> Project Interpreter
找到Anaconda安装路径,选择python.exe即可。
还可以在envs目录下选择自己创建的其他虚拟环境。
3.3 使用Conda配置pyspark环境
#创建python虚拟环境 conda create -n pyspark_env python=3.6 #激活虚拟环境 conda activate pyspark_env #安装pyspark的环境 conda install -c conda-forge pyspark
也可以手动下载 spark 安装包
tar xzvf spark-3.0.0-bin-hadoop2.7.tgz #确保环境变量指向已提取 tar 文件的目录并更新环境变量 cd spark-3.0.0-bin-hadoop2.7 export SPARK_HOME=`pwd` export PYTHONPATH=$(ZIPS=("$SPARK_HOME"/python/lib/*.zip); IFS=:; echo "${ZIPS[*]}"):$PYTHONPATH
分类:
Spark ML
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)