如何在Google Drive for Google Colab上安装Conda？ [英] How to install conda on Google Drive for Google Colab?

问题描述

! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.8.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.8.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.8.2-Linux-x86_64.sh -b -f -p /usr/local
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

这段代码为我的Google Colab安装Conda。CoLab对其会话有时间限制，它会在8或9小时的活动计算后重置环境状态和数据，因此我需要一次又一次地重新启动此单元。

有没有办法在Google Drive上安装Conda和所有必要的软件包？

推荐答案

这不是完美的解决方案，但可能比每次下载并构建新的conda安装要快。步骤概述：

1. 将Conda安装到Colab上的本地目录，压缩此目录并将其存储在Google Drive上。
2. 当您启动新的Colab笔记本或重新启动现有笔记本时，请运行代码块以从Google Drive获取Conda安装并重新设置环境。

1.创建Conda和所需软件包的安装(仅一次)

下载miniconda并安装到/content/miniconda3目录：

%env PYTHONPATH=
! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.9.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.9.2-Linux-x86_64.sh -b -f -p /content/miniconda3

将miniconda添加到系统PATH：

import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path

安装您需要的conda包(如Packagexyz)：

!conda install -c conda-forge packagexyz -y

可选代码块：检查Packagexyz是否工作正常。这将打印Packagexyz的版本及其在conda目录中的位置：

import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")
import packagexyz
print(packagexyz.__version__, packagexyz.__file__)

将所有内容复制到Google Drive(单击链接获取验证码，然后将其粘贴到框中)：

from google.colab import drive 
drive.mount('/content/drive')
!tar -zcf conda_colab.tar.gz /content/miniconda3
!cp conda_colab.tar.gz /content/drive/My Drive/

2.将Conda复制回Colab(在重新启动笔记本时运行)

挂载Google Drive(需要再次输入授权码)，复制回Conda安装，然后重新设置环境：

from google.colab import drive 
drive.mount('/content/drive')

!tar -xf /content/drive/My Drive/conda_colab.tar.gz -C ../

import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path
%env PYTHONPATH=
import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")

备注

• 此解决方案仅经过轻微测试。您可能需要设置其他环境变量，具体取决于您安装的软件包。
• 通过调整tar压缩设置，步骤2可能会更快。如果您有非常大的Conda安装，请考虑使用apt-get在步骤1和步骤2的开头安装pigz，然后将--use-compress-program=pigz添加到!tar...命令以并行化压缩&；解压缩步骤。

这篇关于如何在Google Drive for Google Colab上安装Conda？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！