查看: 1532|回复: 0

keras data generator 读数据阻塞

[复制链接]

665

主题

1234

帖子

6670

积分

xdtech

Rank: 5Rank: 5

积分
6670
发表于 2020-5-22 16:28:22 | 显示全部楼层 |阅读模式
keras封装的太多,

其中,data generator部分,用的语句是
self.queue.get(block=True).get()

这个语句,因为是阻塞模式,很容易堵死数据。

特别是在开多线程时。

所以,如果各位发现在读数据环节,keras死在那里不动了。那么,

将data generator的multiprocessing一定要改为False。

血泪教训。

其实,建议无脑处理,一律将multiprocessing改为False,最好。

最后说,希望大家用pytorch
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表