TF1.14][TPU]无法在使用TPU的Colab上使用自定义TF记录数据集 [英] TF1.14][TPU]Can not use custom TFrecord dataset on Colab using TPU

问题描述

我已经创建了一个由元素及其对应标签组成的TFRecord数据集文件。我想把它用在使用免费TPU的Colab上的培训模型上。我可以加载TFRecord文件，甚至可以运行迭代器来查看内容，但是，在它引发以下错误之前，它会抛出以下错误-

UnimplementedError: From /job:worker/replica:0/task:0:
File system scheme '[local]' not implemented (file: '/content/gdrive/My Drive/data/encodeddata_inGZIP.tfrecord')
     [[{{node MultiDeviceIteratorGetNextFromShard}}]]
     [[RemoteCall]]
     [[IteratorGetNextAsOptional_1]]

据我所知，它需要TPU存储桶上的TFRecord文件，我不知道如何在Colab上做到这一点。如何在Colab TPU上直接使用TFRecord文件？

推荐答案

您需要托管在谷歌云存储上：

所有输入文件和模型目录都必须使用云存储桶路径(gs：//bucket-name/.)，并且该存储桶必须可以从TPU服务器访问。请注意，所有数据处理和模型检查点都在TPU服务器上执行，而不是在本地计算机上执行。

如Google故障排除页面所述：https://cloud.google.com/tpu/docs/troubleshooting#cannot_use_local_filesystem

希望这能有所帮助！

这篇关于TF1.14][TPU]无法在使用TPU的Colab上使用自定义TF记录数据集的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！