映射以使用客户分配器来保存超大型数据集，以分配磁盘空间而不是主内存 [英] maps to hold ultra large data sets using customer allocators to allocate disk space rather than main memory

问题描述

我工作的其中一个项目目前需要使用超大的b $ b大尺寸地图，列表，矢量等（基本上是stl容器）。

尺寸可能增长高达1000万条目。由于不可能将所有这些数据都存储在内存中，我计划实现这些

容器来同时保存内存和磁盘中的数据。

我不确定这可以通过客户分配器来实现，并且我想知道是否有任何此类实现。


谢谢

解决方案

* CMOS：

我目前正在工作的项目之一使用超大的b $ b大尺寸地图，列表，矢量等（基本上是stl容器）。

大小可能增长到1000万条目。由于不可能将所有这些数据都存储在内存中，我计划实现这些

容器来同时保存内存和磁盘中的数据。

我不确定这可以通过客户分配器来实现，并且我想知道是否有任何此类实现。

几GB的数据并不是那么多，真的，如果你有硬件

来匹配。但是，根据您对客户（原文如此）分配器的评论，

，而且仅仅是因为您在这里寻求建议，我很合理

确定这不是一个百万美元的预算项目，而是一个

学生项目，并且数十亿条目的要求源于糟糕的设计，而不是问题的内在要求

你试图解决。所以要告诉你这个问题，而不是你如何设想解决问题;或许我们可以提出更好的方法。


-

答：因为它弄乱了人们通常阅读文字的顺序。

问：为什么这么糟糕？

A：热门发布。

问：usenet和电子邮件中最烦人的事情是什么？

CMOS写道：

我工作的其中一个项目目前需要使用ultra

大尺寸地图，列表，矢量等（基本上是stl容器）。

大小可能增长到1000万条目。由于不可能将所有这些数据都存储在内存中，我计划实现这些

容器来同时保存内存和磁盘中的数据。

我不确定这可以通过客户分配器来实现，并且我想知道是否有任何此类实现。

简短回答是肯定的，但你确定要吗？


-

Ian Collins。

注意：自定义分配器：抱歉。


问题是使用

给定字段索引某些类型的10亿条记录。字段类型可能是数字，字符串，日期等。

并查询结果以便快速检索。


感谢

one of the projects im working in currently requires use of ultra
large sized maps, lists, vector, etc. (basically stl containers).
Sizes might grow up to 1000 Million entries. since it is impossible to
have all this data in memory, im planning to implement these
containers to hold data both in memory and disk at the same time.
im not sure this can be achieved using customer allocators and im
wondering if there are any such implementations.

thank you

解决方案

* CMOS:

one of the projects im working in currently requires use of ultra
large sized maps, lists, vector, etc. (basically stl containers).
Sizes might grow up to 1000 Million entries. since it is impossible to
have all this data in memory, im planning to implement these
containers to hold data both in memory and disk at the same time.
im not sure this can be achieved using customer allocators and im
wondering if there are any such implementations.

A few GBytes of data isn''t that much, really, if you have the hardware
to match. However, from your comment about "customer (sic) allocators",
and simply from the fact that you''re seeking advice here, I''m reasonably
sure that this is not a million-dollar budget project, but rather a
student project, and that the requirement of billions of entries stems
from bad design, and is not an inherent requirement of the problem
you''re trying to solve. So do tell about the problem, not how you''re
envisioning solving it; perhaps we can suggest better ways.

--
A: Because it messes up the order in which people normally read text.
Q: Why is it such a bad thing?
A: Top-posting.
Q: What is the most annoying thing on usenet and in e-mail?

CMOS wrote:

one of the projects im working in currently requires use of ultra
large sized maps, lists, vector, etc. (basically stl containers).
Sizes might grow up to 1000 Million entries. since it is impossible to
have all this data in memory, im planning to implement these
containers to hold data both in memory and disk at the same time.
im not sure this can be achieved using customer allocators and im
wondering if there are any such implementations.

The short answer is yes, but are you sure you want to?

--
Ian Collins.

NOTED: Custom Allocator: sorry.

the problem is to index 10 Billion records of certain type using a
given field. field type might be a number, string, date, etc.
and to query the results for fast retrieval.

thanks

这篇关于映射以使用客户分配器来保存超大型数据集，以分配磁盘空间而不是主内存的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！