fread相关内容

追加多个大data.table;使用 colClasses 和 fread 的自定义数据强制;命名管道

[这是一篇文章中的多个错误报告/功能请求,但它们不一定是孤立的.提前为怪物帖子道歉.按照帮助(data.table)的建议在此处发布.另外,我是 R 新手;如果我没有在下面的代码中遵循最佳实践,请道歉.我在努力.] 1.rbindlist 在 6 * 8GB 文件上崩溃(我有 128GB RAM) 首先我想报告使用 rbindlist 附加大型 data.tables 会导致 R 出现 ..
发布时间:2022-01-22 11:43:20 其他开发

data.table::fread 和不平衡的 "

当我尝试使用 data.table:fread(fn, sep='\t', header=T) 读取 csv 文件时,它给出了“在这一行观察到的“不平衡"错误.数据有3个整数变量和1个字符串变量.csv文件中的字符串没有用"括起来,是的,有些行包含"字符串变量和 " 字符不是成对的. 我想知道是否可以让 fread 忽略变量中未配对的 " 并继续读取数据?谢谢. 这里是示例数据(只有一 ..
发布时间:2022-01-13 19:36:05 其他开发

R data.table v1.9.6 中的错误 - 函数“fread";

我最近更新到data.table 1.9.6,使用fread时出现如下错误: fread("Aug14.csv")fread("Aug14.csv") 中的错误:4 个参数传递给 .Internal(nchar) 需要 3 个 另一个帖子在另一个上下文中讨论了这个错误,但在升级到 data.table 1.9.6 之前它工作得很好.有什么建议吗? 这是我的设置: sessionInf ..
发布时间:2022-01-13 19:34:16 其他开发

使用包 data.table 中的 fread 一次读取块

我正在尝试使用 data.table 包中的 fread 函数输入一个以制表符分隔的大文件(大约 2GB).然而,因为它太大了,它并不完全适合内存.我尝试使用 skip 和 nrow 参数分块输入它,例如: chunk.size = 1e6完成 = 假块 = 1而(!完成){temp = fread("myfile.txt",skip=(chunk-1)*chunk.size,nrow=chun ..
发布时间:2022-01-13 19:20:35 其他开发

fread 和带引号的多行列值

>fread('col1,col2\n')2列的空data.table(0行):col1,col2>fread('col1,col2\n5,4')col1 col21:5 4>fread('col1,col2\n5,"4\n3"')fread("col1,col2\n5,\"4\n3\"") 中的错误:在此行上观察到不平衡的引号 ("):3"> read.csv 可以导入此 csv,只要跨越多行 ..
发布时间:2022-01-13 19:19:49 其他开发

在 fread 中使用 colClasses

我不知道如何使用 fread 中的 colClasses 选项选择特定列.我尝试以多种方式使用 NULL 但没有任何效果.这是一个最小的例子.我只想要第 1 列和第 3 列. dt ..
发布时间:2022-01-13 19:09:29 其他开发

R中data.table包中fread速度的原因

data.table 中的 fread 函数在处理大型数据文件时的速度让我感到惊讶,但它是如何读取这么快的呢?fread 和 read.csv 的基本实现区别是什么? 解决方案 我假设我们正在与 read.csv 进行比较,并应用了所有已知的建议,例如设置 colClasses,nrows 等. read.csv(filename) 没有任何其他参数很慢,主要是因为它首先将所有内容读入内存 ..
发布时间:2022-01-13 18:58:42 其他开发

什么是“字节"?在 C/C++ 中

例如,这里是 fread 的参考: size_t fread (void * ptr, size_t size, size_t count, FILE * stream); 读取一个计数元素数组,每个元素的大小为“大小字节"...那么有多少 BITS 会读取一个 fread(&x, 1, 1, stream)?八位还是CHAR_BIT? 解决方案 C99, §3.6: 字节 ..
发布时间:2022-01-12 20:52:29 其他开发

为什么我的程序在构造函数中使用 fread 时会崩溃?

我有一个小程序,用 C++ 编写,其中包含一个带有大数组的类.该类如下所示: 类测试{上市:测试();...私人的:int myarray[45000000];}; 现在,这个数组是从一个文件中读入的.我想直接用构造函数来做这件事,而不是费心调用任何额外的函数.数组只需要读入一次,之后就不会再改变了.它具有指定的确切大小. 我的构造函数如下所示: Test(){memset(myarr ..
发布时间:2022-01-12 11:38:27 C/C++开发

fgets() 和 fread() - 有什么区别?

我了解 fgets() 之间的区别 和 fgetss() 但我不明白 之间的区别fgets() 和 fread(),有人可以澄清一下这个主题吗?哪个更快?谢谢! 解决方案 fgets 读取一行——即它将在换行符处停止. fread 读取原始数据——它将在指定的(或默认)字节数后停止,独立于可能存在或不存在的任何换行符. 速度不是使用一个而不是另一个的理由,因为这两个功能只是不做 ..
发布时间:2022-01-07 20:15:06 PHP

读取 CSV 行子集的最快方法

我有一个带有 200 万行的 5GB csv.标题是逗号分隔的strings,每一行都是逗号分隔的doubles,没有丢失或损坏的数据.它是长方形的. 我的目标是尽可能快地将随机 10%(替换或不替换,无关紧要)的行读取到 RAM 中.慢速解决方案的一个例子(但比 read.csv 快)是使用 fread 读取整个矩阵,然后保留随机 10% 的行.> require(data.table) ..
发布时间:2022-01-04 08:41:54 其他开发

PHP - 返回文件中的最后一行?

我猜是 fgets,但我找不到具体的语法.我试图读出(在我认为更容易的字符串中)添加到日志文件中的最后一行. 解决方案 最简单天真的解决方案很简单: $file = "/path/to/file";$数据=文件($文件);$line = $data[count($data)-1]; 不过,这会将整个文件加载到内存中.可能是一个问题(或不是).更好的解决方案是这样的: $file = ..
发布时间:2021-12-29 19:22:08 PHP

使用 `fread` 将 csv 文件从存档导入到 `R` 中而不提取到磁盘

我有一个 zip 存档,其中包含多个 csv 文件.我想使用 fread 将选定的 csv 文件导入 R. 使用 read.csv 我可以在不提取存档的情况下获得如下数据. con 如何使用data.table::fread将csv文件中的数据从存档中导入R而不解压? 解决方案 fread 可以运行 shell 命令来预处理文件,例如:在 Linux/Windows 上,这有效 ..
发布时间:2021-12-25 19:56:22 其他开发

你如何将多个 .txt 文件读入 R?

我正在使用 R 来可视化一些数据,所有这些数据都是 .txt 格式.一个目录中有几百个文件,我想一次性将它们全部加载到一张表中. 有什么帮助吗? 编辑: 列出文件不是问题.但是我在从列表到内容的过程中遇到了麻烦.我已经尝试了 此处 中的一些代码,但我在这部分遇到了一个错误: all.the.data ..
发布时间:2021-12-01 20:50:05 其他开发

iPhone 推送通知 - 错误响应问题

我在发送推送通知后检查响应错误时遇到问题.这是我的设置: 从我的 PHP 服务器发送推送通知.这些通知以增强格式发送,因此我可以从 Apple 服务器获得错误响应.例如:错误 #7“无效负载大小". 我检查错误的方式是读取套接字响应: const ERROR_RESPONSE_SIZE = 6;$errorResponse = @fread($this->_apnsSocket, s ..
发布时间:2021-11-16 21:00:30 PHP