是否有类似 Redis DB 的东西，但不受 RAM 大小的限制? [英] Is there something like Redis DB, but not limited with RAM size?
问题描述
我正在寻找符合这些条件的数据库:
I'm looking for a database matching these criteria:
- 可能是非持久性的；
- 几乎所有 DB 的密钥都需要在 3-6 小时内更新一次(100M+ 密钥，总大小为 100Gb)
- 能够通过键(或主键)快速选择数据
- 这需要是一个 DBMS(所以 LevelDB 不适合)
- 写入数据时，数据库集群必须能够提供查询服务(但可以阻止单个节点)
- 不在内存中 - 我们的数据集将超出 RAM 限制
- 水平扩展和复制
- 支持全部数据全部重写(MongoDB删除数据后不清空)
- C# 和 Java 支持
这是我使用此类数据库的过程:我们有一个分析集群，每 4-6 小时产生 1 亿条记录 (50GB) 的数据.数据是一个key - array[20]".这些数据需要通过前端系统以每秒 1-10k 个请求的速率分发给用户.平均而言，只有约 15% 的数据被请求，其余数据将在 4-6 小时内生成下一个数据集时重写.
Here's my process of working with such database: We've got an analytics cluster that produces 100M records (50GB) of data every 4-6 hours. The data is a "key - array[20]". This data needs to be distributed to users through a front-end system with a rate of 1-10k requests per second. In average, only ~15% of the data is requested, the rest of it will be rewritten in 4-6 hours when the next data set is generated.
我尝试了什么:
- MongoDB.数据存储开销、碎片整理成本高.
- Redis.看起来很完美，但它受到 RAM 的限制，我们的数据超过了它.
所以问题是:有没有类似 Redis 的东西，但不受 RAM 大小的限制?
So the question is: is there anything like Redis, but not limited with RAM size?
推荐答案
是的，Redis 有两种替代方案，不受 RAM 大小限制，同时保持与 Redis 协议的兼容性:
Ardb (C++), 复制(Master-Slave/Master-Master): https://github.com/yinqiwen/ardb
Ardb (C++), replication(Master-Slave/Master-Master): https://github.com/yinqiwen/ardb
一个兼容 redis-protocol 的持久化存储服务器，支持LevelDB/KyotoCabinet/LMDB作为存储引擎.
A redis-protocol compatible persistent storage server, support LevelDB/KyotoCabinet/LMDB as storage engine.
Edis (Erlang):https://github.com/cbd/edis
Edis (Erlang): https://github.com/cbd/edis
Edis 是 Redis 的协议兼容服务器替代品，写在二郎.Edis 的目标是在以下情况下成为 Redis 的替代品持久性比将数据集保存在内存中更重要.埃迪斯(目前)使用 Google 的 leveldb 作为后端.
Edis is a protocol-compatible Server replacement for Redis, written in Erlang. Edis's goal is to be a drop-in replacement for Redis when persistence is more important than holding the dataset in-memory. Edis (currently) uses Google's leveldb as a backend.
为了完整起见，这里是另一个数据结构数据库:
Hyperdex(字符串、整数、浮点数、列表、集合、映射):http://hyperdex.org/doc/latest/DataTypes/#chap:data-types
Hyperdex (Strings, Integers, Floats, Lists, Sets, Maps): http://hyperdex.org/doc/latest/DataTypes/#chap:data-types
HyperDex 是:
HyperDex is:
- 快速:HyperDex 具有更低的延迟、更高的吞吐量和更低的方差比其他键值存储.
- 可扩展:HyperDex 可扩展为更多的机器被添加到系统中.
- 一致:HyperDex 保证基于键的操作的线性化.因此，读取总是返回插入系统的最新值.不仅仅是最终"，而是立即和始终.
- 容错:HyperDex 自动在多台机器上复制数据，以便并发故障，向上到应用程序确定的限制，不会导致数据丢失.可搜索:
- HyperDex 支持高效查找辅助数据属性.
- 易于使用:HyperDex 为各种脚本和母语.
- 自我维护:HyperDex 是自我维护，几乎不需要用户维护.
这篇关于是否有类似 Redis DB 的东西，但不受 RAM 大小的限制?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
