large-data - IT屋-程序员软件开发技术分享社区

PHP-从目录中读取大量文件

我有一个包含大量图片(至少10000个文件)的文件夹，我需要使用php获取所有这些文件的名称。问题是，当我使用scandir()时，我得到了关于内存限制的错误。此外，我还尝试使用如下代码： $files = []; $dir = opendir($this->path); $i = 0; while(($fi ..

发布时间：2022-08-19 17:55:20 php file-handling large-data PHP

快速汇总R中大图中相邻属性的方法

我有一个大的图形对象，几乎有1M个节点和1.5M个边。在研究了一段时间后，我找不到一个程序来对节点的邻居属性进行求和，在本例中，它是一个二进制属性。目前，我找到的最佳解决方案如下： V(g)$sum = sapply( ego(g,1,V(g),mode = 'all',mindist = 1), function(v) sum(V(G)[v]$attr) ) 然而，12小时后，它仍然发 ..

发布时间：2022-04-16 13:05:15 r igraph sna large-data 其他开发

尝试加载5 GB文本文件时出现内存错误

我要读取以文本格式存储在5 GB文件中的数据。当我尝试使用以下代码读取文件内容时： file = open('../data/entries_en.txt', 'r') data = file.readlines() 发生错误： data=file.readines() 内存错误我的笔记本电脑有8 GB内存，当我想运行程序时，至少有4 GB是空的。但是当我监控系统性能时，当python ..

发布时间：2022-02-28 12:24:50 python file out-of-memory text-files large-data Python

如何存储极大的数字?

例如，我有一个阶乘程序，它需要保存非常大的整数，其长度可能超过 50 位.C++ 中的绝对最大原始数据类型是 unsigned long long int，最大值 18446744073709551615 只有 20 位长.这是 C++ 限制的链接:http://www.cplusplus.com/reference/climits/ 如何将大于某个变量的数字存储在某种变量中? 解决方 ..

发布时间：2022-01-14 14:19:13 c++ data-structures int large-data C/C++开发

是什么导致 Python 分段错误?

我正在 Python 中实现 Kosaraju 的强连通分量 (SCC) 图搜索算法. 该程序在小数据集上运行良好，但是当我在超大图(超过 800,000 个节点)上运行它时，它显示“Segmentation Fault". 这可能是什么原因?谢谢！附加信息:首先我在超大数据集上运行时遇到了这个错误: "RuntimeError: cmp 中超出最大递归深度" 然后我使用重 ..

发布时间：2022-01-12 15:30:32 python segmentation-fault large-data Python

R:带有大型、可变节点 XML 输入和数据帧转换的 xmlEventParse

我有大约 100 个发布数据的 XML 文件，每个文件 > 10GB，格式如下: ABCD123ABCD2345 ..

发布时间：2022-01-10 19:53:56 r xml xml-parsing large-data 其他开发

在 PHP 中流解析 4 GB XML 文件

我正在尝试并需要一些帮助来执行以下操作: 我想用 PHP 流式解析一个大的 XML 文件(4 GB).我不能使用简单的 XML 或 DOM，因为它们会将整个文件加载到内存中，所以我需要可以流式传输文件的东西. 我如何在 PHP 中做到这一点? 我要做的是浏览一系列元素.并将他们的一些孩子写入一个新的 xml 文件. 我尝试解析的 XML 文件如下所示: ..

发布时间：2022-01-10 19:53:30 php xml xml-parsing large-files large-data PHP

我有一个非常大的数据集(1800 万个观测值)，我想通过基于一个变量的子集进行转置，并从这些子集中创建 900 个新变量.下面的示例代码和所需的输出格式:示例数据: 数据 long1 ;输入 famid year faminc ;卡片；var1 96 40000变量 1 97 40500变量 1 98 41000var2 96 45000var2 97 45400var2 98 45800var ..

发布时间：2022-01-08 17:18:11 sas subset large-data 其他开发

用于大型模型的 QCompleter

QCompleter 在大型数据集(大型模型)上的运行速度稍慢:当我开始在 QCombobox 中输入字符时，它会通过几秒钟来显示带有变体的自动完成弹出窗口, 当输入第二个字符 QCompleter 也不会对按键做出反应几秒钟.下一个字符工作正常.模型大小约为 100K 记录.是否可以提高 QCompleter 性能或在第二个或第三个输入符号后显示弹出窗口?有什么好的例子吗? 解决方案解 ..

发布时间：2022-01-02 09:17:15 qt model qcompleter large-data 其他开发

通过 bigquery-python 库向 BigQuery 插入大量数据

我有大型 csv 文件和 excel 文件，我在其中读取它们并根据其拥有的字段和类型动态创建所需的创建表脚本.然后将数据插入到创建的表中. 我已阅读这篇和明白我应该用 jobs.insert() 而不是 tabledata.insertAll() 发送它们以获取大量数据. 我是这样称呼它的(适用于较小的文件，不适用于大文件). result = client.push_rows(da ..

发布时间：2021-12-30 22:56:17 python python-2.7 google-bigquery large-data Python

BigQuery 中针对大型数据集的 RANK 或 ROW_NUMBER

我需要将行号添加到 BigQuery 中的大型(大约十亿行)数据集.当我尝试时: SELECT*ROW_NUMBER() OVER (ORDER BY d_arf DESC) plarf来自 [trigram.trigrams8] 我收到“查询执行期间资源超出"，因为分析/窗口函数需要适合一个节点. 如何向 BigQuery 中的大型数据集添加行号? 解决方案你没有给我一个有效 ..

发布时间：2021-12-30 22:47:47 google-bigquery row-number large-data 其他开发

使用 dplyr 进行交互频率计数，必须包括零计数

我的问题涉及使用 R 中的 dplyr 包编写代码我有一个相对较大的数据框(大约 500 万行)，有 2 列:第一个带有单独的标识符(id)，第二个带有日期(date)>).目前，每一行都表示在日期列中的日期发生了一个动作(由 id 列中的个人采取).大约有 300,000 个独特的个体，以及大约 2600 个独特的日期.比如开头的数据是这样的: id 日期约翰12 2006-08-0 ..

发布时间：2021-12-23 12:47:06 r dplyr frequency interaction large-data 其他开发

如何存储非常大的数字?

例如，我有一个阶乘程序，需要保存可能超过 50 位数字的非常大的整数.C++中的绝对最大原始数据类型是unsigned long long int，最大值18446744073709551615，只有20位长.这是 C++ 限制的链接:http://www.cplusplus.com/reference/climits/ 如何在某种变量中存储大于数字的数字? 解决方案如果你已经有一 ..

发布时间：2021-12-22 00:00:19 c++ data-structures int large-data C/C++开发

重复 NumPy 数组而不复制数据?

我想创建一个一维 NumPy 数组，该数组由另一个一维数组的 1000 次背靠背重复组成，而不复制数据 1000 次. 有可能吗? 如果有帮助，我打算将两个数组都视为不可变的. 解决方案你不能这样做；NumPy 数组必须在每个维度上具有一致的步幅，而您的步幅大部分时间需要朝一个方向走，但有时会向后跳. 你能得到的最接近的是一个 1000 行的二维数组，其中每一行都是你的 ..

发布时间：2021-12-21 10:25:53 python numpy memory large-data Python

将大 csv 转换为稀疏矩阵以在 sklearn 中使用

我有一个以 csv 格式保存的 ~30GB(压缩 ~1.7 GB | 180K 行 x 32K 列)矩阵.我想将此矩阵转换为稀疏格式，以便能够在内存中加载完整的数据集，以便使用 sklearn 进行机器学习.填充的单元格包含小于 1 的浮点数.大矩阵的一个警告是目标变量存储为最后一列.允许在 sklearn 中使用这个大矩阵的最佳方法是什么?IE.如何在不将原始矩阵加载到内存中的情况下将 ~30G ..

发布时间：2021-12-19 08:23:13 python matrix scikit-learn sparse-matrix large-data Python

在关键服务器(数十亿个文件名)上对字符串进行内存受限的外部排序，并合并和计算重复项

我们的服务器在其日志文件夹中生成类似 {c521c143-2a23-42ef-89d1-557915e2323a}-sign.xml 的文件.第一部分是GUID；第二部分是名称模板. 我想计算具有相同名称模板的文件数.例如，我们有 {c521c143-2a23-42ef-89d1-557915e2323a}-sign.xml{aa3718d1-98e2-4559-bab0-1c69f04e ..

发布时间：2021-12-10 10:41:49 c# algorithm sorting dictionary large-data C#/.NET

合并和附加 ffdf 数据帧

我正在尝试通过合并和附加两个现有的 ffdf 数据帧来创建一个 ffdf 数据帧.ffdfs 具有不同的列数和不同的行数.我知道 merge() 只执行内部和左外部连接，而 ffdfappend() 如果列不相同则不允许追加.我想知道是否有人对此有解决方法.gtools 包中的 smartbind() 函数或任何其他解决方法. 当然转换回 as.data.frame() 和使用 smart ..

发布时间：2021-11-16 19:44:20 r merge append ffbase large-data 其他开发

Spark 数据集转换为数组

我有一个如下所示的数据集；col1 的值重复多次，col2 的值是唯一的.这个原始数据集大约有 10 亿行，所以我不想使用 collect 或 collect_list 因为它不会扩展到我的用例中. 原始数据集: +---------------------||列 1 |col2 |+---------------------||AA|11 ||BB|21 ||AA|12 ||AA|13 ..

发布时间：2021-11-14 23:24:22 arrays apache-spark apache-spark-sql transformation large-data 其他开发

Angular.Js 性能、大型数据集、ng-repeat、带有过滤器和双向绑定的 html 表

所以我有一个简单的页面布局，其中包括一个过滤器面板和一个使用 ng-repeat 的 html 记录表.我正在使用 MVC5 和一个 angularJs 控制器我可能需要处理多达 100000 条记录.大多数列都会发生过滤器，包括日期和文本字段记录需要处理双向绑定(用户必须选择将返回到服务器的记录). 我想就此获得最佳设计理念的意见......即您是否会预先将所有数据加载到浏 ..

发布时间：2021-11-10 00:05:59 javascript angularjs performance angularjs-ng-repeat large-data 前端开发

一个非常庞大的数据集的平均值和标准偏差

我想知道是否有一种算法可以计算未绑定数据集的平均值和标准偏差. 例如，我正在监控一个测量值，比如电流.我想要所有历史数据的平均值.每当出现新值时，更新均值和标准差?因为数据太大无法存储，我希望它可以在不存储数据的情况下动态更新均值和标准差. 即使存储数据，标准方式 (d1+...+dn)/n 也行不通，总和会导致数据表示溢出. I 通过大约 sum(d1/n + d2/n + . ..

发布时间：2021-10-26 18:40:10 algorithm statistics mean numerics large-data 其他开发

large-data相关内容