嘟嘟社区

[疑问] 求助tensorflow大佬


[疑问]  求助tensorflow大佬

如图,调用tf.data.Dataset.from_tensor_slices()接口把pandas读出来的文件转成tf格式的时候的时候提示显存不足(内存不足?),我的电脑是r9000p 3060版本的,显存6G, 内存16G但是我又开了100G的虚拟内存。数据集大概有4Kw条,占20多G内存。怎么破呢,可以弄成迭代器吗,有无大佬给个demo,万分感谢。

我看的这个教程 https://m.imooc.com/wiki/tensorflow-tensorflowloadDateFrame

这个超出MJJ理解范围了
我有个例子
你在读数据文件时,不要一次全部读到内存中
做成迭代器就行