查看: 3287|回复: 3

[开发环境] fastai使用教程

[复制链接]
发表于 2019-8-28 08:20:34 | 显示全部楼层 |阅读模式
本帖最后由 易学智能 于 2020-5-27 15:49 编辑

教程分以下内容
1.介绍fastai教程位置
2.介绍fastai数据集的位置与使用
3.介绍fastai模型文件的位置与使用
4. 介绍如何在平台上跑通fastai


【Fastai的数据集与模型文件,下载较慢。因此,我们将fastai教程涉及的数据集与权值文件,都下载了。每次开机后,只需要将它们放到对应的位置,就可避免下载】

1.fastai教程位置
华中一区: /home/ubuntu/MyFiles/PublicData_1/fast.ai/course-v3
华东一区:/home/ubuntu/MyFiles/PublicData/data_extentd_1/fast.ai/course-v3
2.数据集位置
华中一区: /home/ubuntu/MyFiles/PublicData_1/fast.ai/fast.ai_datasets
华东一区: /home/ubuntu/MyFiles/PublicData/data_extentd_1/fast.ai/fast.ai_datasets
3. 模型文件的位置
华中一区:/home/ubuntu/MyFiles/PublicData/model/pytorch
华中二区:/home/ubuntu/MyFiles/PublicData/model/pytorch

Fastai教程如何使用?
1. 开机
操作系统为Ubuntu,
建议选用显存较大的显卡,如1080ti、TitanX、TitanXP、2080ti等。若选用1050ti等显卡,出现OOM错误,则请改选大显存的显卡。
开机环境选择。请选择名字中含有fastai的开发环境。如下所示。注意,随着平台升级,下图可能不反映最新状态。
ttt.png

2. 复制fastai教程到本地。
将教程,复制到user_space并解压。
解压命令:tar zxvf course-v3.tar.gz
若并非第一次使用,且上次已保存修改后的教程(参见第5步),也请复制自己保存的教程到user_space。

3. 复制数据集到本地。
复制数据集到本地的指定位置:/home/ubuntu/.fastai/data。
若本地目录不存在,请自行建立。

然后解压。

解压命令:tar -xzvf name.tar.gz, 或者: tar -xvf name.tar.gz
注意:部分文件并未压缩,因此-z的选项不要使用。


3. 复制模型到本地
复制模型到本地的指定位置
若本地的目录不存在,请自行建立。
命令示例:
例如,复制vgg16

cp  -r /home/ubuntu/MyFiles/PublicData/model/pytorch/vgg16/ /home/ubuntu/.fastai/models/

4. 打开代码,修改代码,然后跑代码。
打开代码:请直接在控制台-连接-Jupyter,进入到fastai教程目录(如user_space),然后打开ipynb文件。】
修改代码:以课程一为例,做出如下修改(注释掉红框部分,修改蓝框部分)。其他课程类似。

    fastai修改jupyter部分.png
   why修改:以上注释掉的代码,如untar_data这个函数,作用是去网络下载数据,而我们的数据已在本地,故不再需要。
                    修改路径,是为了指向数据集、权值文件等的本地地址。

   其他课程,若遇到问题,请参考本步骤,去做修改。

   注意:若缺少某个包,请使用 pip install xxx --user进行安装。

5. 跑完后,请将course-v3目录打包,并存储到MyFiles目录。以备下次使用。

注意:
      Fastai的数据集和模型,存储目录不在MyFiles。每次关机后,这些目录的文件都会丢失。
      因此,下次开机使用时,对所需要的数据集、模型,重复以上步骤,再次操作一遍。

      建议用户将fastai的数据集与模型,每次运行时放于user_space,而不是MyFiles。这样,虽然每次开机都要复制解压,但运行速度快很多。

fastai-win.png fastai.png










回复

使用道具 举报

1

主题

3

帖子

15

积分

新手上路

Rank: 1

积分
15
发表于 2020-8-11 12:58:48 | 显示全部楼层
想问一下课程中用到的MNIST_SAMPLE数据集有下载过吗? 如有请告知具体路径, 没有的话, 能不能请平台预先下载
回复

使用道具 举报

 楼主| 发表于 2020-8-11 19:31:31 | 显示全部楼层
qhu 发表于 2020-8-11 12:58
想问一下课程中用到的MNIST_SAMPLE数据集有下载过吗? 如有请告知具体路径, 没有的话, 能不能请平台预先 ...

2.数据集位置
华中一区: /home/ubuntu/MyFiles/PublicData_1/fast.ai/fast.ai_datasets
华东一区: /home/ubuntu/MyFiles/PublicData/data_extentd_1/fast.ai/fast.ai_datasets
这个位置没有找到吗? 请问是第几个课程呢?
回复

使用道具 举报

1

主题

3

帖子

15

积分

新手上路

Rank: 1

积分
15
发表于 2020-8-25 14:02:36 | 显示全部楼层
yuanzhiroc 发表于 2020-8-11 19:31
2.数据集位置
华中一区: /home/ubuntu/MyFiles/PublicData_1/fast.ai/fast.ai_datasets
华东一区: /hom ...

好的,谢谢楼主!
Fastai 更新了一版2020的教材书fastbook, github 地址如下,能不能也更新到平台啊?https://github.com/fastai/fastbook
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表