dataloader相关内容

使用 PyTorch 加载自定义图像数据集

我正在使用线圈 100 数据集,该数据集包含 100 个对象的图像,每个对象的 72 个图像是从固定相机拍摄的,每个图像将对象旋转 5 度.以下是我正在使用的文件夹结构: 数据/火车/obj1/obj01_0.png, obj01_5.png ... obj01_355.png . . 数据/火车/obj85/obj85_0.png, obj85_5.png ... obj85_355 ..
发布时间:2022-01-21 13:35:28 其他开发

pytorch 数据加载器的示例或解释?

我对 Pytorch 相当陌生(并且从未做过高级编码).我正在尝试使用 d2l.ai 教科书学习深度学习的基础知识,但在理解数据加载器代码背后的逻辑时遇到了麻烦.我阅读了 torch.utils.data docs 并且不确定 DataLoader 类是什么例如,当我应该将 torch.utils.data.TensorDataset 类与它结合使用时.比如d2l定义了一个函数: def loa ..
发布时间:2022-01-06 19:53:43 Python

使用 type-graphql typeorm 和 dataloader 处理一对多的最佳方法

我试图找出使用 type-graphql 和 typeorm 和 postgresql db(使用 apollo 服务器和 express)处理一对多关系的最佳方法.我有一个与课程表具有一对多关系的用户表.我目前处理此问题的方法是使用 @RelationId 字段创建一列 userCourseIds,然后使用 @FieldResolver 和 dataloader 批量获取属于该用户的课程.我的问 ..
发布时间:2022-01-04 11:01:41 其他开发

使用分页时如何提高嵌套 graphql 连接的性能

我正在尝试实施某种基本的社交网络项目.它有 Posts、Comments 和 Likes 和其他任何东西一样. 一个帖子可以有很多评论 一个帖子可以有很多赞 一个帖子可以有一个作者 我在客户端应用程序上有一个 /posts 路由.它通过分页列出 Posts 并显示它们的 title、image、authorName、commentCount> 和 likesCount. gr ..
发布时间:2021-11-15 22:08:36 其他开发

使用type-graphql typeorm和dataloader处理一对多的最佳方法

我正在尝试找出使用type-graphql和typeorm与postgresql db(使用带有express的apollo服务器)处理一对多关系的最佳方法.我有一个用户表,它与课程表具有一对多关系.我当前处理此问题的方式是使用@RelationId字段创建一列userCourseIds,然后将@FieldResolver与dataloader配合使用以批量获取属于该用户的课程.我的问题是,无论我 ..
发布时间:2021-05-06 19:18:41 其他开发

使用分页时如何提高嵌套graphql连接的性能

我正在尝试实施某种基本的社交网络项目.它具有 Posts , Comments 和 Like 一样. 帖子可以有很多评论 帖子可以有很多赞 帖子可以有一位作者 我在客户端应用程序上有一条/posts 路由.它通过分页列出 Post ,并显示其 title , image , authorName , commentCount 和 likesCount . graphql 查询 ..
发布时间:2021-04-09 18:38:13 其他开发

RuntimeError:只能计算浮动类型的平均值。取而代之的是字节。平均值+ = images_data.mean(2).sum(0)

我有以下代码段: #设备配置 device = torch.device('cuda:0'如果torch.cuda.is_available()else'cpu') 种子= 42 np.random.seed(种子) torch.manual_seed(种子) #将数据集拆分为验证和测试集 len_valid_set = int(0.1 * len(dataset)) len ..
发布时间:2020-10-19 22:45:28 Python

Pytorch数据加载器,线程过多,CPU内存分配过多

我正在使用PyTorch训练模型。要加载数据,我使用的是 torch.utils.data.DataLoader 。数据加载器正在使用我已实现的自定义数据库。发生一个奇怪的问题,每次执行以下代码中的第二个 for 时,线程/进程数增加,并且分配了大量的内存 用于范围内的时期(start_epoch,opt.niter + opt.niter_decay + 1): epoch_start_ ..
发布时间:2020-10-07 19:09:32 其他开发