conda配置python3.8的虚拟环境,安装torch-cuda1.8,torchtext0.9.0,huggingface的transformers库等
- 前言
- 准备工作
- 创建虚拟环境:
- **激活虚拟环境**:
- 2.安装torch
- 1)推荐先换成国内镜像
- 2)输入这个安装命令
- 3.一次安装pandas,numpy,matplotlib,scikit-learn这好几个库,conda命令:
- 4.安装transformers
- 5.安装tqdm
- 6.中间可能出现的问题:
- 解决办法:
- 1)清除缓存
- 2)可以尝试要删除特定的包
前言
起因是我在用bert的时候,导包报错
Python 环境缺少 模块。 是 Python 3.8 引入的模块,而我的环境中使用的 Python 版本为 3.7。所以我得重新配置一个python3.8的虚拟环境(之前我装的都是3.7的python环境),安装了torch-cuda1.8,torchtext0.9.0,huggingface的transformers库等。 提示:建议看完整篇博客,再去配置环境
准备工作
在开始菜单找到anaconda prompt(anaconda3),进入
查看已有的虚拟环境命令:
conda env list
- 1
创建虚拟环境:
conda create --name your_env_name python=3.8
- 1
这将创建一个名为 your_env_name 的新虚拟环境,并且指定 Python 版本为 3.8。你可以更改 your_env_name 为你想要的环境名称,也可以更改 Python 版本号。
激活虚拟环境:
在 Windows 上:
conda activate your_env_name
- 1
激活后,会由base环境跳转到torchpy3.8虚拟环境中
在 macOS/Linux 上:
source activate your_env_name
- 1
安装包:
安装你需要的包,例如:
conda install package_name
- 1
或者使用 pip 安装:
pip install package_name
- 1
这样就完成了虚拟环境的创建和激活。你可以在需要的时候进入和退出虚拟环境,以便更好地管理你的项目和依赖关系。
2.安装torch
python3.8需要
发现为了安装torchtext0.9.0的,我需要重新安装1.8.0的torch,
而安装torch1.8.0,我就要安装cuda10.2或11.1
我已经安装过cuda11.1
可以进入这个网址,手动下载torch包,有2个多G.
我之前写的:
1)推荐先换成国内镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- 1
2)输入这个安装命令
就会安装,安装速度还可以。
但是,今天有点慢啊。后来整体感觉还可以。可以接受。
conda install pytorch==1.8.0 torchtext==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
- 1
一直在这转就转了很久。
转了好几分钟,终于转完了
开始了安装相关的包
其他也可以参考我之前写的这篇文章
后面发现numpy已经自动给咱安装上了,版本也已经帮咱选好了
3.一次安装pandas,numpy,matplotlib,scikit-learn这好几个库,conda命令:
conda install pandas numpy matplotlib scikit-learn
- 1
- 2
也可以依次安装
conda install pandas
- 1
conda install numpy
- 1
conda install matplotlib
- 1
conda install scikit-learn
- 1
4.安装transformers
conda install -c huggingface transformers
- 1
time 是 Python 的标准库,通常无需使用 conda 单独安装。在 Python 中,time 是内置的模块,你可以直接在脚本或交互式环境中导入和使用。
5.安装tqdm
conda install tqdm
- 1
6.中间可能出现的问题:
安装完之后,可以在中间查看到安装的torch包的信息
url: https://conda.anaconda.org/pytorch/win-64/pytorch-1.8.0-py3.8_cuda11.1_cudnn8_0.tar.bz2
target_path: D:\Acomputer\anaconda3\pkgs\pytorch-1.8.0-py3.8_cuda11.1_cudnn8_0.tar.bz2
pytorch-1.8.0-py3.8_cuda11.1_cudnn8_0
我们可以看到torch是gpu的(后面有cuda就代表是gpu版本的,),torch版本是1.8.0,对应的python版本是3.8的,cuda是11.1的,对应的cudnn是8.0的,在这里只需要输入
conda install pytorch==1.8.0 torchtext==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
- 1
在这一步之前需要先安装cuda 11.1(但是我没有安装cudnn,估计cudnn不是必须安装的),在这里输入安装cudatoolkit的命令就会安装cudatoolkit。
这里,可能会出现中间网络状态不稳定,部分包发生中断的情况,我就出现了两次。
解决办法:
1)清除缓存
conda clean --all
- 1
我信你个鬼,conda clean --all这句会把刚刚安装好的包全部给卸载。就剩下下面的包
还得重新安装
conda install pytorch==1.8.0 torchtext==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
- 1
2)可以尝试要删除特定的包
(这个方法我后来没有试,如果有试的同学,可以在评论区讲一下)
conda clean --all命令用于清理conda缓存和临时文件,但它并不会删除已安装的包。如果您想要清除特定的包,可以使用conda remove命令。
要删除特定的包,可以运行以下命令:
conda remove <package_name>
- 1
如果您想要重新尝试安装一个没有成功安装的包,可以运行以下命令:
conda install <package_name>
- 1
这将尝试重新安装指定的包。如果有错误信息,请仔细阅读错误消息以获取更多信息,以便确定问题的根本原因。