查看: 9590|回复: 12

[开发环境] ubuntu系统开发环境说明

[复制链接]
发表于 2018-12-27 20:05:31 | 显示全部楼层 |阅读模式
本帖最后由 易学智能 于 2020-3-30 15:13 编辑

平台的开发镜像已经有十余个。未来,还会有更多的镜像加入。小伙伴们是不是觉得头大?

本帖将详细介绍各镜像的内容,并会持续更新。这些镜像是Ubuntu系统!

公共内容
本部分的内容,对所用镜像都适用。
特别提醒:使用pip安装开发包前,请检查是否已安装,尽量不要重复安装,既节省时间又能减少很多出错。
(1) 常用应用程序: Jupyter Notebook,中文输入法,Pycharm, 文本编辑器GEdit、Vim等, 视频播放器,图片查看器,解压(压缩)工具,Chrome浏览器,下载工具。
(2) 常用命令:nvcc;pip (pip3);make;ldconfig; cmake; apt, apt-get; service;sudo;vim;ls……
(3) 系统应用程序:XFCE桌面,X2Go远程桌面服务,openssh-server。
(4) 开发包:  absl-py astor backcall bleach captcha certifi chardet cloudpickle colorama cycler Cython dask DateTime decorator defusedxml Django django-cors-headers djangorestframework easydict entrypoints gast graphviz grpcio h5py html5lib idna imageio ipykernel ipython ipython-genutils ipywidgets jedi jieba Jinja2 joblib jsonschema jupyter jupyter-client jupyter-console jupyter-core kiwisolver Markdown MarkupSafe matplotlib mistune nbconvert nbformat networkx notebook numpy opencv-python pandas pandocfilters parso pexpect pickleshare Pillow pprint prometheus-client prompt-toolkit protobuf ptvsd ptyprocess pycurl Pygments pyparsing python-dateutil pytz PyWavelets pywinpty PyYAML pyzmq qtconsole redis requests scikit-image scikit-learn scipy seaborn Send2Trash simplegeneric six ssh-import-id termcolor terminado testpath toolz tornado tqdm traitlets urllib3 utils uuid wcwidth webencodings Werkzeug wheel widgetsnbextension wincertstore wordcloud xgboost zope.interface pydot-ng xlrd mysqlclient。
说明:所有用户的使用方式包括远程桌面、ssh与jupyter网页等,请用户根据自身需要选择远程工作模式。

注意:不同开发环境中,开发包的版本,并不相同。若需要特定版本,可自行安装。教程:用pip/apt安装自己需要的包

—————————————————CUDA10—————————————————————
py3.7 tf2.0 fastai pytorch1.3

AI环境: cuda10.0 cudnn7.6.0 tensorflwo2.0+pytorch1.3+caffe2+python3.7+fastai
说明:PyTorch1.0官方版本,需要此版本的都可以选择这个镜像。

此时,使用keras的方法:高版本tensorflow (CUDA10)使用keras

tf2.0a pytorch1.1 fastai
AI环境: cuda10.0 cudnn7.5.0 tensorflwo2.0+pytorch1.1+caffe2+python3.6+keras2.2.4+fastai
新增包: seaborn, lmdb, colour,  cffi,  python3-openslide
说明:PyTorch1.0官方版本,需要此版本的都可以选择这个镜像。
此时,使用keras的方法:高版本tensorflow (CUDA10)使用keras

pytorch1.0 tf1.13 keras2.2.4
AI环境: cuda10.0 cudnn7.5.0 pytorch1.0+caffe2+tensorflow1.13+python3.6+keras2.2.4+fastai
说明:PyTorch1.0官方版本,需要此版本的都可以选择这个镜像。
此时,使用keras的方法:高版本tensorflow (CUDA10)使用keras

pytorch1.4 tf1.15
AI环境:python3.7 tensorflow1.15 keras2.2.4 fastai pytorch1.4 keras2.2.4 CUDA10 CUDNN7.5.0
此时,使用keras的方法:高版本tensorflow (CUDA10)使用keras

—————————————————CUDA9—————————————————————
DL全家桶
AI环境:cuda9.0 cudnn7.0.5 tensorflow1.5.0 keras2.2.2 pytorch0.4.1 mxnet1.2.1 python3.5
新增包: seaborn, lmdb, colour, cffi, python3-openslide,warpctc_pytorch
说明:包含了版本较低的深度学习框架。

mxnet
AI环境:cuda9.0 cudnn7.4.1 mxnet1.3.1 python3.6
说明:为mxnet专门制作的环境,需要跑mxnet或者在DL全家桶跑mxnet碰到core dump可以直接切换至此镜像。

conda_DL
AI环境:cuda9.0 cudnn7.4.1 Anaconda3-5.3.1  ubuntu16.4 seeingdo_normal seeingdo_higher
已安装两个conda环境:
    (1) seeingdo_normal: tensorflow1.5.0 keras2.2.2 pytorch0.4.1 mxnet1.2.1 python3.6;
    (2) seeingdo_higher: tensorflow1.12.0+keras2.2.4+python3.6。
推荐用户使用本环境。
说明:专门的conda环境。可以使用自定义conda虚拟环境,也可以使用内置的AI环境。
使用教程:conda_DL 使用说明:https://bbs.easyaiforum.cn/thread-1059-1-2.html

darknet
公共内容全包括。
AI环境:cuda9.0 cudnn7.4.1 tf1.12 python3.6
Darknet目录:/home/ubuntu/darknet
说明:此镜像已安装Darknet。

Caffe
AI环境: cuda9.0 cudnn7.0.5 python3.5 Caffe1.0.0
caffe目录:/home/ubuntu/caffe
说明:官方Caffe 1.0,支持python3,需要用caffe跑程序的不二选择。

tf1.12 keras2.2.4 pytorch1.1
AI环境: cuda9.0 cudnn7.4.1
pytorch1.1+caffe2+allnlp+tensorflow1.12.0+keras2.2.4+python3.6+fastai
新增包:  seaborn, lmdb, colour,  cffi,  python3-openslide
说明:TensorFlow1.12.0官方版本,需要此版本的都可以选择这个镜像。

DL_py2.7
AI环境: cuda9.0 cudnn7.4.1 tensorflow1.5.0 keras2.2.2 pytorch0.4.1 mxnet1.2.1 python2.7
说明:Python2.7,各开发框架的较低版本。

paddlepaddle
AI环境:cuda9.0 cudnn7.4.1 paddlepaddle1.3.2 python3.6
说明:paddlepaddle开发环境,需要使用的可以选择此环境

—————————————————CUDA8—————————————————————

caffe_tp
AI环境:cuda8 cudnn5.1.10  python2.7 caffe1.0
caffe目录 :/home/caffe-segnet-cudnn5
说明:caffe中带segnet,python2.7,而且cuda和cudnn版本都比较切合,Caffe性能发挥的非常好。

torch
AI环境: cuda8.0 cudnn5 torch1.0+python2.7
教程:https://bbs.easyaiforum.cn/thread-1652-1-1.html
说明:torch开发环境的使用,请务必阅读以上教程。

—————————————————其他—————————————————————

cpu_tf1.12
AI环境:cuda9.0 cudnn7 tensorflow1.12 python3.6
纯CPU:用于熟悉环境和上传下载文件。
说明:专门为纯CPU开发,可以跑cpu的TensorFlow(但不建议这样去做,因为太慢了)

vasp_gpu

AI环境:vasp gpu版,TensorFlow,pytorch的gpu版
纯CPU:用于熟悉环境和上传下载文件。
说明:专门为纯CPU开发,可以跑cpu的TensorFlow(但不建议这样去做,因为太慢了)

vasp_cpu

AI环境:vasp cpu版本,pytorch TensorFlow 的cpu版本
纯CPU:用于熟悉环境和上传下载文件。
说明:专门为纯CPU开发,可以跑cpu的TensorFlow(但不建议这样去做,因为太慢了)

neo4j
AI环境:无。
说明:安装neo4j图数据库,特殊目的而使用,慎重选择。

-------------------------------------专项版-收费---------------------------------------------------------------------------
kaldi-tf1.12
AI环境:cuda9.0 cudnn7.4.1 tf1.12 kaldi python2.7+python3.5+python3.6
说明:kaldi的运行环境已配置好,下载kaldi源码后,在此镜像中,可直接make成功。
此镜像为收费镜像,首先在市场购买后才能在开机中选择。
教程:kaldi安装[kaldi-tf1.12使用指南]https://bbs.easyaiforum.cn/forum.php?mod=viewthread&tid=1107&fromuid=245

caffe_ssd
AI环境:cuda8 cudnn5.1.10  python2.7 caffe1.0
caffe目录 :/home/ubuntu/caffe
说明:caffe中带ssd的环境,而且cuda和cudnn版本都比较切合,Caffe性能发挥的非常好。但是只有1080才可以很好的跑动。
此镜像为收费镜像,首先在市场购买后才能在开机中选择。


theano

AI环境:Python2.7 theano1.0.4 CUDA8.0 cudnn5.1.10
说明:此环境已安装有theano可以直接import,需要用到theano的可以选择此镜像

deepfake
AI环境:cuda9.0 cudnn7.4.1 TensorFlow1.12.0 python3.6
deepfake目录:/home/ubuntu/DeepFake*
说明:AI换脸专用环境。附带教程:deepfake (AI换脸)环境的使用https://bbs.easyaiforum.cn/forum.php?mod=viewthread&tid=1358&fromuid=245

回复

使用道具 举报

166

主题

616

帖子

1万

积分

xdtech

Rank: 5Rank: 5

积分
11594
发表于 2019-1-24 08:25:51 | 显示全部楼层
内容要丰富完善起来!
回复

使用道具 举报

665

主题

1234

帖子

6671

积分

xdtech

Rank: 5Rank: 5

积分
6671
发表于 2019-1-24 20:54:01 | 显示全部楼层
这个内容介绍
还是比较随意,不够正式和清晰
回复

使用道具 举报

166

主题

616

帖子

1万

积分

xdtech

Rank: 5Rank: 5

积分
11594
发表于 2019-1-25 21:44:22 | 显示全部楼层
冒号,有英文的,也有中文的,
最后 统一起来
回复

使用道具 举报

 楼主| 发表于 2019-1-26 10:46:52 | 显示全部楼层
再度更新了一版
回复

使用道具 举报

665

主题

1234

帖子

6671

积分

xdtech

Rank: 5Rank: 5

积分
6671
发表于 2019-2-11 21:15:45 | 显示全部楼层
opencv有没有?
回复

使用道具 举报

166

主题

616

帖子

1万

积分

xdtech

Rank: 5Rank: 5

积分
11594
发表于 2019-2-12 17:34:35 | 显示全部楼层
opencv,在所有环境中,均已安装
回复

使用道具 举报

166

主题

616

帖子

1万

积分

xdtech

Rank: 5Rank: 5

积分
11594
发表于 2019-2-17 11:07:05 | 显示全部楼层
fastai有吗?
回复

使用道具 举报

665

主题

1234

帖子

6671

积分

xdtech

Rank: 5Rank: 5

积分
6671
发表于 2019-6-10 14:52:24 | 显示全部楼层
yacs
回复

使用道具 举报

0

主题

4

帖子

14

积分

新手上路

Rank: 1

积分
14
发表于 2019-9-1 20:56:23 来自手机 | 显示全部楼层
我安装了一个包pretrainedmodels,结果重新安装了pytorch和numpy,怎么回事啊(挠头))
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表