设为首页
收藏本站
切换到宽版
登录
注册
找回密码
搜索
搜索
本版
文章
帖子
用户
快捷导航
易学开发平台
易学在线课堂
易学智能论坛
BBS
易学智能
»
易学智能论坛
›
技术大讨论
›
Tensorflow
›
keras data generator 读数据阻塞
返回列表
查看:
1546
|
回复:
0
keras data generator 读数据阻塞
[复制链接]
shaoheshaohe
shaoheshaohe
当前离线
积分
6683
665
主题
1234
帖子
6683
积分
xdtech
积分
6683
发消息
发表于 2020-5-22 16:28:22
|
显示全部楼层
|
阅读模式
keras封装的太多,
其中,data generator部分,用的语句是
self.queue.get(block=True).get()
这个语句,因为是阻塞模式,很容易堵死数据。
特别是在开多线程时。
所以,如果各位发现在读数据环节,keras死在那里不动了。那么,
将data generator的multiprocessing一定要改为False。
血泪教训。
其实,建议无脑处理,一律将multiprocessing改为False,最好。
最后说,希望大家用pytorch
回复
使用道具
举报
返回列表
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
快速回复
返回顶部
返回列表