Windows 和 Ubuntu 下通过国内镜像源使用 conda 进行软件包下载 - yhjoker

时间:2024-03-12 08:30:29

Windows 和 Ubuntu 下通过国内镜像源使用 conda 进行软件包下载

  使用 anaconda 提供的包管理器 conda 安装 pytorch 等软件包的时候,速度会比较捉急,其中一个重要原因在于这些软件包的源位于国外,相应的下载速度也会受到影响。一个可行的解决方案是换用国内的镜像源来进行对应的软件包下载,比如清华 Anaconda 镜像源,设置源的方法也比较简单。( 部分内容原总结于笔者博客conda 使用清华镜像软件源 中)

 

  更新一下设置 conda 从清华源镜像中获取对应包的方法

  1.通过下面的步骤 2 中的 show_channel_urls 命令在用户主目录下生成 .condarc 文件;

  2.将原始的 .condarc 文件备份( emmm以备意外 );

  3.将清华大学开源软件镜像站-Anaconda 镜像使用帮助中提供的内容覆盖 .condarc 中的内容;

  4.conda clean -i 清除旧索引,从而完成更换下载源的过程;

 

  Ubuntu 环境

  1.首先将对应镜像源的地址通过 conda config --add 命令加入 conda 的 channel 列表中,可以选择添加整个镜像源的地址或只添加与 pytorch 相关的镜像源的地址。(或者更傻瓜的方式,将 ~/.condarc 文件备份后,将清华 Anaconda 镜像源页面中的配置文件内容复制至 ~/.condarc 文件中。)

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/       #添加整个镜像源的地址
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/     #添加镜像源中 pytorch 对应的地址

  2.通过 conda config 命令设置使用 conda 进行软件包下载时显示软件包的 url 地址,这样就可以看到下载软件包的时候是否是从国内镜像源下载。具体命令为 conda config --set show_channel_urls yes。(Windows 环境中用户主目录下会生成对应的 .condarc 文件,里面保存一些与源相关的信息)更新:貌似 Ubuntu 系统下用户主目录下也不会自动生成 .condarc 文件,之后使用下面的 show_channel_urls 设置后,用户主目录下才会生成。

    conda config --set show_channel_urls yes    #下载时显示软件包的来源

  3.通过 conda config --show-sources 命令查看添加的软件源,确定是否添加有效。

    conda config --show-sources    #查看已有的软件源

  4.通过 conda config --remove 命令删除某个源。

    conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/    #删除某个源

  5.在上述设置完成后,通过 conda clean -i 保证设置同步生效。

    conda clean -i    #清理旧的索引缓存

  6.此时可以通过国内源安装 pytorch 等 python 常用软件。从 pytorch 的官网通过环境获取对应的 conda 安装命令后,将最后的 -c 命令去掉,即可通过前面添加的镜像源直接安装 pytorch,速度感人。

    conda install pytorch torchvision cudatoolkit=10.1 -c pytorch    #官网查询的安装 pytorch 的 conda 命令
    conda install pytorch torchvision cudatoolkit=10.1               #本地使用的安装命令,去掉 -c 参数

 

  Windows 环境

  Windows 环境下对 conda 源的修改原理与 Ubuntu 环境下基本相同,均为在对应的配置文件中添加镜像源的地址。

  1.首先可通过 conda config --show-sources 命令查看当前已有源的信息,在笔者设备上显示如下。这里 show_channel_urls 设置是打开的,若是关闭可以通过上面介绍的 conda config --set show_channel_urls yes 命令开启。同时也可以看到对应的源配置文件位于 C:\Users\usrname\.condarc 文件中。( 若 .condarc 配置文件不存在,通过 conda config --set show_channel_urls yes 命令会自动生成 )

  

   2.使用上文介绍的 conda config -add 命令添加 conda 镜像地址,或者直接将清华 Anaconda 镜像源页面中的配置文件内容复制至 C:\Users\usrname\.condarc  文件中。后续即可使用国内的镜像源进行软件下载。

 

  参考

  Anaconda 镜像使用帮助——清华源

  Anaconda清华镜像源的使用及安装Pytorch失败问题解决

 

  相关

  Ubuntu18.04 设置国内镜像软件源进行软件下载/更新

  更新 pip 源为国内镜像源