batching相关内容

在python中批处理非常大的文本文件

我正在尝试将一个非常大的文本文件(大约150 GB)批处理成几个较小的文本文件(大约10 GB)。 我的一般流程为： # iterate over file one line at a time # accumulate batch as string --> # given a certain count that correlates to the size of my curr ..

发布时间：2022-08-04 14:18:13 python bigdata batching Python

使用TPL数据流对持续时间或阈值进行批处理

我已经使用TPL数据流实现了生产者..消费者模式。用例是代码从Kafka总线读取消息。为提高效率，我们需要在进入数据库时批量处理消息。 TPL数据流中是否有办法在达到大小或持续时间阈值时保留消息并触发？ 例如，一旦消息从队列中拉出，当前实现将发布该消息。 postedSuccessfully = targetBuffer.Post(msg.Value); 推荐答案 ..

发布时间：2022-03-16 14:25:39 c# task-parallel-library tpl-dataflow batching C#/.NET

在 libgdx 中批处理多维数据集时遇到问题

我正在尝试开发一个游戏，我在屏幕上渲染多达 300 个立方体.在为每个多维数据集创建新的模型实例时，modelBatch 的性能很糟糕.据我所知，没有 3d 批处理可以将所有立方体批处理到一个绘制调用中.所以我拼命地试图以某种方式批量处理它们. 这个问题和这个有直接关系:LibGDX 3D提升性能 发布的答案成功地批量处理了所有立方体，但是当添加环境以获得一些照明时，立方体似乎缺少边或 ..

发布时间：2021-11-25 01:48:29 java api 3d libgdx batching Java开发

在 libgdx 中批量处理多维数据集时遇到问题

我正在尝试开发一个游戏，我在屏幕上渲染多达 300 个立方体.在为每个多维数据集创建新的模型实例时，modelBatch 的性能很糟糕.据我所知，没有 3d 批处理可以将所有立方体批处理到一个绘制调用中.所以我拼命地试图以某种方式批量处理它们. 这个问题和这个有直接关系:LibGDX 3D提升性能 发布的答案成功地对所有立方体进行了批处理，但是当添加环境以获得一些照明时，立方体似乎缺少 ..

发布时间：2021-11-15 01:31:22 java api 3d libgdx batching Java开发

TPL DataFlow - 按持续时间或阈值进行批处理

我已经使用 TPL 数据流实现了生产者..消费者模式.用例是代码从 Kafka 总线读取消息.为了效率，我们需要在去数据库时批量处理消息. 在 TPL 数据流中是否有一种方法可以保留消息并在达到大小或持续时间阈值时触发? 例如，当前实现一旦从队列中拉出消息就发布消息. postedSuccessfully = targetBuffer.Post(msg.Value); 解决方案 ..

发布时间：2021-09-04 19:35:49 task-parallel-library tpl-dataflow batching 其他开发

特定批次的气流任务

我想运行一组这样的任务: a >>[b,c,d] >>[e,f,g] >>[h,i,j,k,l,m] 首先运行任务 a，完成后并行运行 b,c,d，然后当 b,c,d 中的最后一个完成.开始并行运行 e,f,g 等 但是我收到一个错误，不支持的操作数类型为 >>: 'list' 和 'list' 我想要做什么的正确语法是什么? 解决方案 您得到的错误与不支持使用按位 ..

发布时间：2021-09-04 19:30:43 task airflow batching 其他开发

如何修复"OperatorNotAllowedInGraphError"Tensorflow 2.0中的错误

我正在从官方教程中学习tensorflow2.0 a>.我可以从下面的代码中了解结果. def square_if_positive(x):返回[i ** 2，如果i>0，否则我在x中代表我]square_if_positive(范围(-5，5))# 结果[-5，-4，-3，-2，-1、0、1、4、9、16] 但是如果我用张量而不是python代码更改输入，就像这样 def squa ..

发布时间：2021-05-09 19:55:09 function loops tensorflow2.0 batching 其他开发

如何获取Azure Webjob处理多个队列消息?

在Azure辅助角色中，您可以创建用于处理消息列表的批处理作业.我想知道是否有与Azure WebJobs类似的东西? 当前，您可以从队列中触发网络作业，如下所示: 公共静态无效ProcessQueueMessage([QueueTrigger("queue")]字符串消息，TextWriter日志) 是否有某种方式可以提取和处理消息列表? 解决方案 否，当前没有针对一批Que ..

发布时间：2021-04-13 19:18:33 azure queue messages azure-webjobssdk batching 其他开发

在Cassandra日志中执行LOGGED BATCH警告

我们做批处理的Java应用程序在表1中插入 ，该表模式类似于.. 创建表“ My_KeySpace”。“ my_table”（ 键文本， column1 varint， column2 bigint， column3文本， column4布尔值， 值blob， 主键（键，第1列，第2列，第3列，第4列） ）带有群集排序依据（第1列DESC，第2列DESC，第3列ASC，第4列ASC ..

发布时间：2020-09-29 21:20:25 cassandra datastax datastax-enterprise batch-insert batching 其他开发

1D->二维阵列W /法线曲线子阵列长度

我正在尝试将1D数组分解为2D数组，其中子数组的长度不同。这种变化应遵循高斯曲线（或丘形）。因此，假设我们制作的2D数组变量名为gaussianCurve。 gaussianCurve [0]&中的数组gaussianCurve [n]的长度为1，而gaussianCurve [n / 2]的长度为参数“ maxArrayLength”提供的最大值。这迫使gaussianCurve索引的数量变为变 ..

发布时间：2020-09-24 20:59:51 javascript arrays gaussian splice batching 前端开发

StackExchange.Redis:批量访问多个哈希

因此，我需要大量访问许多不同的哈希值(在StackExchange.Redis中，我具有不同的RedisKey的哈希值). 最好(最快)的方法是什么? 例如，对于这两种可能的实现，是正确的吗?哪个效果更好? List> list = new List>(); List ..

发布时间：2020-05-28 00:45:23 redis pipeline stackexchange.redis batching 其他开发

OpenGL状态冗余消除树，呈现状态优先级

我正在我的游戏引擎中研究一种自动OpenGL批处理方法，以减少绘图调用和冗余调用. 我的批处理树设计从最昂贵的状态开始，并为每个较便宜的状态添加叶子. 示例: 树根:着色器/程序 兄弟姐妹:混合状态... 所以我的问题是，在此列表中，最昂贵的电话是最有可能的: 绑定程序 绑定纹理 绑定缓冲区 缓冲纹理，顶点数据 绑定渲染目标 glEnable/glDisable ..

发布时间：2020-05-20 22:36:34 opengl opengl-es rendering directx-11 batching 其他开发

渲染中最先进的剔除和批处理技术

我目前正在升级和重组OpenGL渲染引擎.该引擎用于可视化建筑数据(带有内部建筑物的大型场景)，并且对象的数量可能会变得非常大.就像任何建筑物一样，墙壁内有很多被遮挡的物体，您自然只能看到与您在同一房间的物体，或者如果您在外面，则只能看到外部的物体.这就留下了许多应通过遮挡剔除和平截头体剔除来遮挡的对象. 同时，可以在渲染批处理中批处理很多重复的几何图形，并且还可以使用实例渲染来渲染很多对象 ..

发布时间：2020-05-20 22:26:00 opengl batch-processing culling batching occlusion-culling 其他开发

如何配置自定义MySQL NHibernate Batcher?

带有MySQL Dialect的NHibernate不支持现成的批处理.我在nuget上找到了用于NHibernate的自定义MySQL Batcher.此外，以下是github链接: https://github.com/Andorbal/NHibernate.MySQLBatcher 但是我不知道如何将其注入/设置到我的hibernate.cfg.xml配置中. 如何配置自定 ..

发布时间：2020-05-17 23:34:04 mysql nhibernate batching 数据库

nhibernate和实体框架在批处理之间有什么区别?

我想选择上述orm之一. nhibernate和实体框架在批处理之间有什么区别? 解决方案 NHibernate可以: 一次发送多个更新/插入/删除 一次加载一个类型的多个代理 一次加载一个类型的多个集合 执行面向对象的DML语句 在单次往返中手动将查询分组(多查询，期货) EF可以: 以上都不是 ..

发布时间：2020-05-17 22:47:12 c# nhibernate entity-framework batching C#/.NET

如何为客户端添加隐式批处理?

让我们考虑以下代码: 客户代码: public class MyClient { private final MyClientSideService myClientSideService; public MyClient(MyClientSideService myClientSideService) { this.myClientSideServi ..

发布时间：2020-05-14 00:25:13 java multithreading concurrency java.util.concurrent batching Java开发

MSBuild批处理基于三个自变量

我一直在编写基于MSBuild的构建系统，并且到了项目的结尾，我需要通过批处理三个变量来本质上运行一个msbuild文件88次: 配置=调试； Beta;释放;评估 平台= x86; x64 语言= CN； CS; DE; EN; ES; FR;它; J.P; KO; PL; TW 我要构建: "Debug x86 CN"，"Debug x86 CS"，..."Debug x86 ..

发布时间：2020-05-12 23:59:24 msbuild batching 其他开发

在Keras中对model.fit进行循环是否合乎逻辑?

在Keras中执行以下操作以免耗尽内存是否合乎逻辑? for path in ['xaa', 'xab', 'xac', 'xad']: x_train, y_train = prepare_data(path) model.fit(x_train, y_train, batch_size=50, epochs=20, shuffle=True) model.save('m ..

发布时间：2020-04-25 10:30:12 keras large-data batching 其他开发

串联执行一批承诺。完成Promise.all后，转到下一批

我有一个包含一系列承诺的数组，每个内部数组可以有4k，2k或500个承诺。 总共有大约60k的承诺我也可以用其他值来测试它。 现在我需要执行 Promise.all（BigArray [0]）。 第一个内部数组完成后，我需要执行下一个 Promise.all（BigArray [1]）依此类推。 如果我尝试执行 Promise.all（BigArray）它正在抛出： ..

发布时间：2019-06-06 10:41:15 javascript node.js promise batching 前端开发

Java：批处理整数

我想知道在处理时间方面批处理给定数字的最佳方法是什么。 取物品： 9,18,7,8,4,9,11,15,3,8， （第1项有处理时间为9，项目2的处理时间为18，等等。） 如果批处理时间限制设置为20，则可能对项目进行分组分批将是： {1,3,5} {2} {4,6} {8,9} {7,10} （第1组是9 + 7 + 4 = 20）等所以已经制作了5批商品，其中的内容是 ..

发布时间：2018-08-06 20:48:58 java integer batching Java开发