conda新建配置python3.8的虚拟环境,安装torch-cuda1.8,torchtext0.9.0,huggingface的transformers库

时间:2024-11-20 21:23:28

conda配置python3.8的虚拟环境,安装torch-cuda1.8,torchtext0.9.0,huggingface的transformers库等

  • 前言
  • 准备工作
  • 创建虚拟环境:
    • **激活虚拟环境**:
  • 2.安装torch
    • 1)推荐先换成国内镜像
    • 2)输入这个安装命令
  • 3.一次安装pandas,numpy,matplotlib,scikit-learn这好几个库,conda命令:
  • 4.安装transformers
  • 5.安装tqdm
  • 6.中间可能出现的问题:
    • 解决办法:
    • 1)清除缓存
    • 2)可以尝试要删除特定的包


前言

起因是我在用bert的时候,导包报错
Python 环境缺少 模块。 是 Python 3.8 引入的模块,而我的环境中使用的 Python 版本为 3.7。所以我得重新配置一个python3.8的虚拟环境(之前我装的都是3.7的python环境),安装了torch-cuda1.8,torchtext0.9.0,huggingface的transformers库等。
提示:建议看完整篇博客,再去配置环境


准备工作

在开始菜单找到anaconda prompt(anaconda3),进入

在这里插入图片描述
查看已有的虚拟环境命令:

conda env list
  • 1

在这里插入图片描述


创建虚拟环境:

conda create --name your_env_name python=3.8
  • 1

这将创建一个名为 your_env_name 的新虚拟环境,并且指定 Python 版本为 3.8。你可以更改 your_env_name 为你想要的环境名称,也可以更改 Python 版本号。

激活虚拟环境

Windows 上:

conda activate your_env_name
  • 1

在这里插入图片描述
激活后,会由base环境跳转到torchpy3.8虚拟环境中

macOS/Linux 上:

source activate your_env_name
  • 1

安装包:

安装你需要的包,例如:

conda install package_name
  • 1

或者使用 pip 安装:

pip install package_name
  • 1

这样就完成了虚拟环境的创建和激活。你可以在需要的时候进入和退出虚拟环境,以便更好地管理你的项目和依赖关系。


2.安装torch

python3.8需要
发现为了安装torchtext0.9.0的,我需要重新安装1.8.0的torch,
在这里插入图片描述

而安装torch1.8.0,我就要安装cuda10.2或11.1
我已经安装过cuda11.1
可以进入这个网址,手动下载torch包,有2个多G.
在这里插入图片描述
在这里插入图片描述我之前写的:

1)推荐先换成国内镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  • 1

2)输入这个安装命令

就会安装,安装速度还可以。
但是,今天有点慢啊。后来整体感觉还可以。可以接受。

conda install pytorch==1.8.0 torchtext==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
  • 1

在这里插入图片描述
一直在这转就转了很久。
转了好几分钟,终于转完了
在这里插入图片描述
开始了安装相关的包
在这里插入图片描述
在这里插入图片描述

其他也可以参考我之前写的这篇文章

后面发现numpy已经自动给咱安装上了,版本也已经帮咱选好了


3.一次安装pandas,numpy,matplotlib,scikit-learn这好几个库,conda命令:

conda install pandas numpy matplotlib scikit-learn

  • 1
  • 2

也可以依次安装

conda install pandas
  • 1
conda install numpy
  • 1
conda install matplotlib
  • 1
conda install scikit-learn
  • 1

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述


4.安装transformers

conda install -c huggingface transformers
  • 1

在这里插入图片描述

time 是 Python 的标准库,通常无需使用 conda 单独安装。在 Python 中,time 是内置的模块,你可以直接在脚本或交互式环境中导入和使用。


5.安装tqdm

conda install tqdm
  • 1

6.中间可能出现的问题:

安装完之后,可以在中间查看到安装的torch包的信息
url: https://conda.anaconda.org/pytorch/win-64/pytorch-1.8.0-py3.8_cuda11.1_cudnn8_0.tar.bz2
target_path: D:\Acomputer\anaconda3\pkgs\pytorch-1.8.0-py3.8_cuda11.1_cudnn8_0.tar.bz2
在这里插入图片描述
pytorch-1.8.0-py3.8_cuda11.1_cudnn8_0
我们可以看到torch是gpu的(后面有cuda就代表是gpu版本的,),torch版本是1.8.0,对应的python版本是3.8的,cuda是11.1的,对应的cudnn是8.0的,在这里只需要输入

conda install pytorch==1.8.0 torchtext==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
  • 1

在这一步之前需要先安装cuda 11.1(但是我没有安装cudnn,估计cudnn不是必须安装的),在这里输入安装cudatoolkit的命令就会安装cudatoolkit。
这里,可能会出现中间网络状态不稳定,部分包发生中断的情况,我就出现了两次。

解决办法:

1)清除缓存

conda clean --all
  • 1

我信你个鬼,conda clean --all这句会把刚刚安装好的包全部给卸载。就剩下下面的包
在这里插入图片描述

还得重新安装

conda install pytorch==1.8.0 torchtext==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
  • 1

2)可以尝试要删除特定的包

这个方法我后来没有试,如果有试的同学,可以在评论区讲一下
conda clean --all命令用于清理conda缓存和临时文件,但它并不会删除已安装的包。如果您想要清除特定的包,可以使用conda remove命令。

要删除特定的包,可以运行以下命令:

conda remove <package_name>
  • 1

如果您想要重新尝试安装一个没有成功安装的包,可以运行以下命令:

conda install <package_name>
  • 1

这将尝试重新安装指定的包。如果有错误信息,请仔细阅读错误消息以获取更多信息,以便确定问题的根本原因。