0%

深度学习开发环境搭建


最近随着MidjourneyChatGPT爆火之后,人工智能,深度学习又开始了新的一波学习浪潮。很多同学在学习深度学习的过程中,苦于没有好的实验环境,半路退场,实在可惜。

我这里整理了两种搭建深度学习实验环境的方法,希望对大家能有所帮助!

使用免费GPU云主机

实际上,国际上以Google为首的一些大企业,他们知道搭建自己的深度学习环境,不仅成本高而且难度也大,因此为学生和小白们准备了一些免费的GPU云主机,专门供大家学习使用。这些企业真是 业界良心为这些企业点赞!!!

下面我们就来看看如何在Google云上申请一台免费的GPU云主机。

首先,众所周知的原因,你需要有能够访问外网的能力。这一步是逃不过去的。
之后,你需要在Google云上注册一个账户,同时绑定信用卡。

以上两步可能是大多数同学申请免费GPU云主机的最大障碍,没办法,免费也是有代价的:)

当上述两步完成后,接下来你就可以申请免费GPU云主机了。打开Google的Colab,之后你应该可以看到下面的界面

有可能你的界面不是中文的而是英文,这没关系只要能进入到这个界面,你就可以申请CPU云主机了。

进入到该界面后,首先在右侧的欢迎页面中选中一段代码,之后点击图中红线框出来的项 “代码执行程序”

在弹出的下拉框中选择 “更改运行时类型”,如下图所示:

紧接着,在弹出的窗口中选择 “GPU”,这样你就拥有了一台带GPU的云主机。

现在让我们来看看Google有没有给我们分配好GPU,分配的GPU又是哪种型号吧!

首先我们在Colab中点击右侧的“+代码”,如下图所示:

在代码框中输入如下代码:

1
2
import torch
torch.cuda.is_available()

之后点击运行,如果看到下面的结果,说明GPU已经分配好了。

另外,如果你想知道Google结你分配的GPU型号,可以使用下面的命令查看

1
!nvidia-smi

从上图你可以知道,Google给我分配的GPU是Tesla T4,这块GPU性能还是蛮不错的。该云主机安装的Nvidia Driver版本是 525.85.12,CUDA版本是 12.0

Goole免费可以申请的GPU主要有三种型号,分别是

1
P100 > T4 > K80

其中 P100的性能与 RTX3090Ti差不多。

如果你觉得Goole给你分配的GPU性能不够,那你还可以申请Pro,每月只要 $9.9,还是蛮便宜的。

如果你觉得在Google上申请免费的GPU太麻烦,也可以自己搭建深度学习环境,下面我再介绍一下如何在自己的主机上搭建环境。

搭建自己的深度学习环境

要搭建自己的深度学习环境,你首先要有一台“超级计算机”,最主要的是配一块高端显卡,比如RTX4090、RTX3090TI或RTX3090。配置这样一台主机价格不菲,少说要3W左右。

我配置的就是RTX3090,性价比还是蛮高的。当然Nvidia还有很多低端显卡,但我不建议购买这些低端显卡,一方面容易买到矿卡(二手卡);另一方面这些卡性能不够,做深度学习训练时会很慢。

机子配置好了,接下来我们看看如何搭建深度学习环境!

首先是操作系统,搭建深度学习环境最好使用Ubuntu系统,很多资料都是以Ubuntu系统为基础讲解的。

当然用Windows环境搭建也没任何问题,我这里就是在Windows系统上安装的。因此,这里我只介绍在Windows下如何搭建深度学习环境,想在Ubuntu下搭建环境的同学可以自己在网上查找资料。

Windows下搭建深度学习环境的步骤如下:

首先,安装Nvidia GPU驱动,你可以从这里下载你与操作系统、显卡匹配的Driver。下载好后双击安装即可。

之后,安装Anaconda。该工具主要是为了管理多个Python开发环境,你可以从这里下载Anaconda。同样将该包下载好后,双击安装即可。

紧接着,我们就可以使用Anaconda来创建自己的Python环境了。创建环境的命令如下:

1
conda create -n ml_env

通过上述命令,我们就创建了一个名为ml_env的python的开发环境。

接下来,我们可以使用Anaconda安装pytorch、CUDA等包。你可以到pytorch的官网上查看最近的pytorch版本,地址如下:https://pytorch.org/get-started/locally/

并根据自己的实际情况做选择要装哪些包,我的选择如下:

当选择好pytorch版本,操作系统等信息后,它会给你提供一条安装相关包的指令,即

1
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

在执行该执令之前,我们需要将前面创建好的环境名加上,这样可以让这些包只做用于我们刚创建的环境中,如下:

1
conda install -n ml_env pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

最后使用conda activate ml_env激活环境即可。

至此,我们自己的深度学习环境就算搭建好了。

发果你不想用这个环境了,可以调用conda deactivate来返激活python环境。

小结

这里我提供了两种深度学习的开发环境,其中第一种是免费的,难点是你要有访问外网的能力并绑定一张信用卡。这种方法虽然省去了买主机的钱,但绑定信用卡也是很多同学所不愿意的。

第二种方式是自己购买主机搭建环境,这种方式的最大问题是购买主机的花费太大,对于学生来说,真的很难承受。

欢迎关注我的其它发布渠道