tensorflow-datasets相关内容

如何使用tf.unction从TensorFlow中的函数集中随机选择

我的问题是：在预处理过程中，我希望使用tf.data.Dataset和tf.functionAPI将从一组函数中随机选择的函数应用于数据集示例。 具体地说，我的数据是3D体积，我希望从一组24个预定义的旋转函数中应用旋转。我想在tf.function中编写这段代码，这样就限制了numpy和列表索引之类的包的使用。 例如，我想做这样的事情： import tensorflow as t ..
发布时间：2022-04-01 22:28:54 Python

CSV表格行作为前几行的标签

我有一个关于TensorFlow的问题。 我有CSV数据，如附加的图像，我想要映射它： 绿色行-是前5行的标签。 是否可以在map函数(Dataet.map())中执行此操作？ 如何做到这一点？ 推荐答案 尝试tf.data.Dataset.window： import tensorflow as tf import pandas as pd d = {'A': [1, 2, ..
发布时间：2022-04-01 22:25:57 Python

使用TensorFlow io拆分训练/测试子集中的自定义二进制数据集

我正在尝试使用本地二进制数据训练网络以执行regression inference。 每个本地二进制数据的布局如下： 并且整个数据由几个具有上述布局的*.bin文件组成。每个文件具有数量可变的403*4字节的序列。我能够使用以下代码读取其中一个文件： import tensorflow as tf RAW_N = 2 + 20*20 + 1 def convert_binar ..
发布时间：2022-04-01 22:17:00 Python

TensorFlow耗尽GPU内存：分配器(GPU_0_BFC)在尝试分配时耗尽内存

我是TensorFlow的新手，我在数据集方面遇到了问题。我在Windows 10上工作，TensorFlow版本是2.6.0，与CUDA一起使用。 我有两个NumPy数组，分别是X_TRAIN和X_TEST(已经拆分)。列车为5 GB，测试为1.5 GB。 这些形状是： X_TRAIN：(259018，30，30，3)，<；类‘numpy.ndarray’>； Y_TRAIN ..
发布时间：2022-04-01 22:09:43 Python

Celeb使用tfds.load()无法访问的数据集

我正尝试在一个深度学习项目中使用CelebA数据集。我拿到了卡格尔的拉链文件夹。 我想解压图像，然后将其拆分为训练、测试和验证，但后来发现在我的功能不是很强大的系统上不可能做到这一点。 因此，为了避免浪费时间，我希望使用TensorFlow-DataSets方法加载CelebA数据集。但遗憾的是，数据集无法访问，出现以下错误： (代码优先) ds = tfds.load('cel ..
发布时间：2022-04-01 21:57:44 其他开发

TF2.2：从TensorFlow_Hub加载保存的模型失败，并返回`AttributeError：'；_UserObject'；对象没有属性'；摘要'；`

系统信息： 巨蟒：3.6.9 TensorFlow：PIP提供的2.2.0 CPU包 问题： 我从tf-Hub获取https://tfhub.dev/google/imagenet/resnet_v2_50/classification/4?tf-hub-format=compressed，然后将其解压缩到新目录中。 wget https://storage.googleapis ..
发布时间：2022-04-01 21:46:25 Python

使用SkLearning使用Kera数据生成器绘制混淆矩阵

SkLearning清楚地定义了如何使用其自己的分类模型绘制混淆矩阵1。 但将其与使用数据生成器的Kera模型一起使用又如何呢？让我们看一看示例代码： 首先，我们需要训练模型。 import numpy as np from keras import backend as K from keras.models import Sequential from keras.layers.core ..
发布时间：2022-04-01 21:35:27 Python

在 TensorFlow 2.0 中，如何查看数据集中的元素数量?

当我加载数据集时，我想知道是否有任何快速方法可以找到该数据集中的样本数或批次数.我知道如果我使用 with_info=True 加载数据集，我可以看到例如 total_num_examples=6000, 但如果我拆分数据集，则此信息不可用. 目前，我统计样本数如下，但想知道是否有更好的解决方案: train_subsplit_1, train_subsplit_2, train_subs ..
发布时间：2022-01-21 13:38:41 Python

类型错误:不支持使用带有估计器 input_fn 的数据集调用

我正在尝试转换 Iris 教程 (https://www.tensorflow.org/get_started/estimator) 从 .png 文件而不是 .csv 读取训练数据.它使用 numpy_input_fn 工作，但当我从 Dataset 制作它时不起作用.我认为 input_fn() 返回了错误的类型，但并不真正理解它应该是什么以及如何做到这一点.错误是: 文件“iris_mi ..
发布时间：2021-12-27 17:07:46 Python

TensorFlow - 从 TFRecords 文件中读取视频帧

TLDR; 我的问题是如何从 TFRecords 加载压缩的视频帧. 我正在建立一个数据管道，用于在大型视频数据集上训练深度学习模型 (动力学).为此，我使用 TensorFlow，更具体地说是 tf.data.Dataset 和 TFRecordDataset 结构.由于数据集包含约 30 万个 10 秒的视频，因此需要处理大量数据.在训练期间，我想从视频中随机采样 64 个连续帧，因此快 ..
发布时间：2021-12-27 17:02:22 Python

使用 tf.contrib.data.parallel_interleave 并行化 tf.from_generator

我有一堆 JSON 数组文件(准确地说是 AVRO)，每个文件都会产生多个样本来训练 Keras 模型.使用来自 @GPhilo 和来自 @jsimsa，我能够想出这个来并行化我的输入管道.无法弄清楚如何设计 generator(n) 来划分处理文件的工作.代码在 parse_file(f) 内失败，因为该函数需要一个字符串文件路径而不是一个 Tensor, N = num_cores = 2f ..
发布时间：2021-12-19 13:09:45 Python

在 Keras 中具有多个输入/输出的 tf.data

对于pair text Similarity等应用，输入数据类似于:pair_1,pair_2.在这些问题中，我们通常有多个输入数据.以前，我成功地实现了我的模型: model.fit([pair_1, pair_2], labels, epochs=50) 我决定用 tf.data API 替换我的输入管道.为此，我创建了一个类似于以下内容的数据集: dataset = tf.data.D ..
发布时间：2021-12-09 22:19:59 其他开发

TensorFlow:在我自己的图像上训练

我是 TensorFlow 的新手.我正在寻找图像识别方面的帮助，我可以在其中训练我自己的图像数据集. 有训练新数据集的例子吗? 解决方案 如果你对如何在TensorFlow中输入自己的数据感兴趣，可以看看本教程. 我还在斯坦福写了一个关于 CS230 最佳实践的指南 此处. 新答案(带有 tf.data)和标签 随着r1.4中tf.data的引入，我们可以创建一批没有 ..
发布时间：2021-12-09 22:17:50 Python