chunking 第2页 - IT屋-程序员软件开发技术分享社区

python：有一个库函数用于分块输入流吗？

我想对输入流进行分块以进行批处理。给定输入列表或生成器， x_in = [1、2、3、4、5、6 ...] 我想要一个函数，该函数将返回该输入的大块。假设，如果 chunk_size = 4 ，则 x_chunked = [[ 1，2，3，4]，[5，6，...]，...] 这是我一遍又一遍的事情，我想知道是否有比我自己编写的方法更标准的方法。 ..

我知道要分块上传，我们是否必须在接收端做些事情？

我的azure函数接收大型视频文件和图像，并将其存储在Azure blob中。客户端API将数据块发送到我的Azure htttp触发函数。我必须在接收端做一些事情来提高性能，例如接收大块数据吗？ Bruce，实际上客户代码是由其他团队开发的。现在，我正在通过邮递员进行测试，并从多部分HTTP请求中获取文件。 foreach（provider.Contents中的HttpConten ..

发布时间：2020-06-08 18:44:32 c# .net azure asp.net-web-api chunking C#/.NET

带流的WCF块数据

HI，我没有必要将大块数据从WCF服务传递到客户端。我有一个包含1600万条记录的表，因此，当客户端从该表请求数据时，我打开该表的数据读取器，然后序列化并将每条记录发送给客户端，这是我的方法签名。. 公共AsyncResult FindAsync（AsyncRequest请求）其中AsyncResult和AsyncRequest是MessageContract，而Asy ..

发布时间：2020-06-08 18:44:30 wcf asynchronous chunking 其他开发

WCF分块/流

我正在使用WCF，并希望将大文件从客户端上传到服务器。我已经调查并决定采用 http://msdn.microsoft .com / en-us / library / aa717050.aspx 但是，这种方法（就像流式传输一样）将合同限制在有限的方法签署上： [OperationContract（IsOneWay = true）] [ChunkingBehavior（Chun ..

发布时间：2020-06-08 18:44:26 wcf streaming uploading chunking 其他开发

如何按块上传大文件？

我有一个文件共享网页。免费使用。我想上传0mb至1GB之间的文件。两天以来我一直在Google进行搜索，但是找不到任何我需要的东西... 我的网页： http://boxy.tigyisolutions.hu 但是，我现在只能上传20-30mb。我想一次只上传1个文件。但是它可能大于500-600mb ...有人可以帮我吗？ I尝试了jquery fileupload，但是对我来说什么 ..

发布时间：2020-06-08 18:44:24 file-upload upload chunking 其他开发

在Ruby中将字符串切成给定长度的块的最佳方法是什么？

我一直在寻找一种优雅有效的方法，将一个字符串分块为Ruby中给定长度的子字符串。到目前为止，我能做到的最好 def块（字符串，大小）（0 ..（string.length-1） /size).map{|i|string[i*size,size]} 结束 >> chunk（“ abcdef”，3） => [“ abc”，“ def”] >> chunk（“ abcde”， ..

发布时间：2020-06-08 18:44:22 ruby string chunking 其他开发

在第N个分隔符出现时分割文件

在每次第N次出现定界符之后，是否有一个直线将文本文件拆分为小块/大块？示例：下面的定界符为“ +” 条目1 更多 + 入口2 更多甚至更多 + 入口3 更多 + 入口4 还有更多 + ... 有几百万个条目，因此，对每次出现的定界符“ +”进行拆分都是一个坏主意。我想分割每个定界符“ +”的第50,000个实例。 Unix ..

发布时间：2020-06-08 18:44:17 file unix split chunking 服务器开发

如何在恒定大小的块中拆分可迭代

可能重复： $ b如何在Python中将列表拆分成均匀大小的块？我很惊讶我找不到一个“批处理”函数，它将输入一个可迭代的值并返回一个可迭代的迭代器。例如：对于i在批处理中（范围（0,10），1）：打印我 [0] [1] ... [9] 或： for i in batch（range（0,10），3）：打印我 [0,1,2] ..

发布时间：2020-06-03 19:48:33 python algorithm generator chunking Python

ValueError:通过块将数据导入pandas.csv_reader()

我有一个很大的gzip文件，我想将其导入到pandas数据框中.不幸的是，该文件的列数是不均匀的.数据大致具有以下格式: .... Col_20: 25 Col_21: 23432 Col22: 639142 .... Col_20: 25 Col_22: 25134 Col23: 243344 .... Col_21: 75 Col_23: 79876 ..

发布时间：2020-05-24 04:09:34 python pandas chunking Python

我正在针对服务器端实现基于Twisted的客户端-服务器解决方案，例如和Android手机(用于客户端). 因为Andoird仿真器不接受大于1500b(或小于1500b)的TCP数据包，所以我需要能够在服务器端对数据包进行分块. Twisted在每次"transport.write"之后都没有刷新套接字的情况下，Twisted会缓冲传出的数据，因此如果没有某种手动或自动刷新/maxpackets ..

发布时间：2020-05-23 20:13:16 python tcp twisted packet chunking Python

NLTK中没有pos_tag的ne_chunk

我正在尝试在nltk中使用ne_chunk和pos_tag对句子进行分块. from nltk import tag from nltk.tag import pos_tag from nltk.tree import Tree from nltk.chunk import ne_chunk sentence = "Michael and John is reading a booklet ..

发布时间：2020-05-18 01:11:51 python tree tags nltk chunking Python

NLTK的语义解析

我正在尝试使用NLTK进行语音导航命令的语义解析，例如 “去旧金山"，“给我指示123大街的路线"等信息这可以通过一个非常简单的CFG语法来完成，例如 S -> COMMAND LOCATION COMMAND -> "go to" | "give me directions to" | ... LOCATION -> CITY | STREET | ... 问题在于这涉及非原子 ..

发布时间：2020-05-18 01:00:50 python parsing nlp nltk chunking Python

用nltk块

如何从给定模式的句子中获取所有块. 例子 NP:{} 标记为句子的 [("money", "NN"), ("market", "NN") ("fund", "NN")] 如果我解析，我会得到 (S (NP money/NN market/NN) fund/NN) 我还要另一个替代方法 (S money/NN (NP market/NN fund/ ..

发布时间：2020-05-18 00:56:03 python nlp nltk chunking Python

叶子在NLTK树中的绝对位置

我正在尝试查找给定句子中名词短语的跨度(开始索引，结束索引).以下是提取名词短语的代码 sent=nltk.word_tokenize(a) sent_pos=nltk.pos_tag(sent) grammar = r""" NBAR: {*} # Nouns and Adjectives, terminated with Nouns ..

发布时间：2020-05-18 00:53:30 python tree nlp nltk chunking Python

什么是自然语言处理中的分块器?

有人知道文本处理上下文中的分块器是什么吗? 解决方案根据这些幻灯片，分块是解析的一种替代方法，它提供了句子的部分句法结构，具有有限的树深度，而不是完全解析. 它比完全解析更受限制，但是在提取或忽略信息时就足够了，因此它被使用了很多次，因为它比解析更快，更可靠. 幻灯片中提供了更多信息. 其他链接: 更多幻灯片在纽约大学的演讲笔记 ..

发布时间：2020-05-18 00:39:29 nlp chunking 其他开发

分块，处理和在Pandas/Python中合并数据集

有一个很大的数据集，其中包含一个字符串. 我只想使用宽度通过read_fwf打开它，就像这样: widths = [3, 7, ..., 9, 7] tp = pandas.read_fwf(file, widths=widths, header=None) 这将有助于我标记数据，但是系统崩溃了(使用nrows = 20000可以工作).然后，我决定按块(例如20000行)进行操作，如 ..

发布时间：2020-05-09 00:47:41 python pandas merge dataset chunking Python

高效的(内存方式)函数，用于重复距离矩阵计算和超大距离矩阵的分块

我想知道是否有人可以看下面的代码和最小的示例并提出改进建议-特别是在处理非常大的数据集时的代码效率. 该函数获取一个data.frame并将其按分组变量(因子)进行拆分，然后计算每个组中所有行的距离矩阵. 我不需要保留距离矩阵-只需保留一些统计信息，即均值，直方图..然后就可以将其丢弃. 我对内存分配之类的知识并不了解，并且想知道什么是最好的方法，因为我将每组处理10.000-1 ..

发布时间：2020-05-07 18:41:02 r memory-management matrix distance chunking 其他开发

Python读取大文本文件(几GB)的最快方法

我有一个大文本文件(〜7 GB).我正在寻找是否存在读取大文本文件的最快方法.我一直在阅读有关使用几种方法逐块读取的方法，以加快处理速度. 例如 effbot 建议 # File: readline-example-3.py file = open("sample.txt") while 1: lines = file.readlines(100000) if no ..

发布时间：2020-04-30 11:43:45 python performance optimization line chunking Python

使用Javascript将文件拆分为块

我正在尝试获取单个文件对象，并按指定的块大小将其拆分为块。在我的示例中，尝试将单个文件拆分为1MB块。所以我想出它需要多少块，然后我试图从'offset'开始切片文件（当前块我在*块大小上），并切掉一个块大小。我的第一个切片正确地以1MB出现，但随后的切片变成0，任何想法为什么？这里有一个有效的代码： http://codepen.io/ngalluzzo/pen/VvpYKz? ..

发布时间：2019-04-27 15:26:29 javascript file chunking 前端开发

是否有一种优雅的方式来处理块中的流？

我的确切场景是批量插入数据库，所以我想累积DOM对象然后每1000个，刷新它们。我通过放入代码来实现它累加器检测充满然后刷新，但这似乎是错误的 - 刷新控件应该来自调用者。我可以将流转换为List然后使用subList迭代时尚，但这似乎也很笨拙。有一个巧妙的方法来处理每n个元素然后继续流，而只处理流一次？解决方案优雅在旁观者的眼中。如果你不介意在 groupin ..

发布时间：2018-12-05 10:58:21 java java-8 java-stream chunking Java开发

chunking相关内容