bigtable相关内容

为什么 Google 的 BigTable 被称为 NoSQL 数据库?

来自维基百科: 值得注意的生产实现[NoSQL 数据库] 包括 Google 的BigTable,亚马逊的 Dynamo 和卡桑德拉. 但 Google 的 BigTable确实有一些 SQL 变体,称为 这些“标准"SQL 数据库都是关系数据库,采用 SQL 查询语言并遵守 ACID 属性.这些属性基本上归结为一致性. NoSQL 数据库不同,因为它不支持所谓的“SQL 数据 ..
发布时间:2022-01-13 13:37:39 其他开发

nosql 数据库中的树结构

我正在为 Google App Engine 开发一个应用程序,它使用 BigTable 作为其数据存储区. 这是一个关于协作编写故事的应用程序.这是一个非常简单的爱好项目,我只是为了好玩而工作.它是开源的,您可以在此处查看:http://story.multifarce.com/ 这个想法是任何人都可以写一个段落,然后需要另外两个人来验证.一个故事也可以在任何段落中进行分支,以便故事 ..

使用 NOSQL 进行连接操作

我浏览了一些关于 Bigtable 和 NOSQL 的文章.非常有趣的是,它们避免了 JOIN 操作. 作为一个基本示例,让我们以 Employee 和 Department 表为例,假设数据分布在多个表/服务器中. 只是想知道,如果数据分布在多个服务器上,我们如何进行 JOIN 或 UNION 操作? 解决方案 当您有非常大的数据时,您可能希望避免连接.这是因为单个键查找的开 ..
发布时间:2022-01-13 13:29:14 其他开发

将海量有序时间序列数据存储在 bigtable 衍生品中

我正试图弄清楚这些新奇的数据存储,如 bigtable、hbase 和 cassandra 到底是什么. 我处理大量股票市场数据、数十亿行价格/报价数据,这些数据每天可以加起来高达 100 GB(尽管这些文本文件通常会压缩至少一个数量级).这些数据基本上是一些数字、两三个短字符串和一个时间戳(通常是毫秒级).如果我必须为每一行选择一个唯一标识符,我将不得不选择整行(因为交换可能会在同一毫秒内 ..
发布时间:2022-01-11 09:36:30 其他开发

bigtable vs cassandra vs simpledb vs dynamo vs couchdb vs hypertable vs riak vs hbase,它们有什么共同点?

抱歉,这个问题有点主观.我是“可以存储"、“分布式存储"或类似这样的一些概念的新手.我真的很想知道它们有什么共同点,并想了解所有这些.如果我想写一个类似的产品,我需要准备什么? 解决方案 NoSQL 数据库站点 总结了这个概念像这样: 主要是下一代数据库解决一些问题:非关系,分布式,开源和水平可扩展.初衷是现代的网络规模的数据库.运动始于 2009 年初,并且正在增长迅速.往往更多的 ..
发布时间:2021-12-31 18:07:07 其他开发

在 bigtable 衍生品中存储大量有序的时间序列数据

我正试图弄清楚这些新奇的数据存储(例如 bigtable、hbase 和 cassandra)究竟是什么. 我处理大量股票市场数据、数十亿行的价格/报价数据,这些数据每天可以增加多达 100 千兆字节(尽管这些文本文件通常至少压缩一个数量级).这些数据基本上是一些数字、两三个短字符串和一个时间戳(通常是毫秒级).如果我必须为每一行选择一个唯一标识符,我将不得不选择整行(因为交换可能会在同一毫 ..
发布时间:2021-12-31 17:32:14 其他开发

BigQuery 和 Bigtable 有什么区别?

为什么有人会使用 Bigtable 而不是 BigQuery?两者似乎都支持读取和写入操作,后者还提供高级“查询"操作. 我需要开发一个联盟网络(因此我需要跟踪点击次数和“销售额"),所以我对这种差异感到很困惑,因为 BigQuery 似乎只是具有更好 API 的 Bigtable. 解决方案 区别基本上是这样的: BigQuery 是一个查询引擎,适用于不会发生太大变化或通过 ..

用于存储大量事件的 Google Bigtable 与 BigQuery

背景 我们想将不可变事件存储在(最好)托管服务中.一个事件的平均大小小于 1 Kb,我们每秒有 1-5 个事件.存储这些事件的主要原因是,一旦我们创建可能对这些事件感兴趣的未来服务,就能够重放它们(可能使用表扫描).由于我们在 Google Cloud 中,我们显然将 Google 的服务视为首选. 我怀疑 Bigtable 会很适合这个,但根据 ..

选择数据库类型

什么时候使用 bigtabe/simpledb 数据库与关系数据库? 解决方案 关系数据库为您提供了更多的布局和查询灵活性,并且更易于使用,但如果您以后需要对您的数据进行分区,您最终也会遇到更多的痛苦数据,如果它不适合单个数据库服务器/集群.BigTable 和类似的东西本质上是无限扩展的,但这样做是通过不提供一堆关系数据库功能并使设计问题变得更加困难. 鉴于可能 0.1% 的地方最 ..
发布时间:2021-11-17 02:11:38 其他开发

如何在Google Cloud Bigtable中设置将来的插入日期?尝试使用TTL计算

我的表只有一个列族,此列的TTL为172800秒(2天),我需要在截止日期之前删除一些数据.如果我希望该值在5分钟后过期,我将计算过期时间并将插入日期设置为过期时间之前的5分钟. 我正在使用Java的HBase客户端来完成此操作. 但是该值似乎没有过期.有什么建议吗? 我使用cbt创建表: cbt createtable my_table families=cf1:maxa ..

在同一笔交易上读取和修改-Bigtable

我建立了优惠券系统,并且使用了bigtable. 我的架构有两列-客户ID,优惠券代码 我想查询表以检查客户是否已经存在,如果为true则返回代码,如果不存在,则用id修改客户id单元格并返回代码. 我看到在Bigtable ReadModifyWriteRow运算符中或使用CheckAndMutateRow可以执行此操作,但是我没有找到任何引用. 解决方案 Google ..

需要一个分布式键值查找系统

我需要一种方法来(可能)跨数百GB数据进行键值查找。理想情况下,基于分布式哈希表的东西可以与Java很好地配合。 存储应该是持久的,但最好将数据缓存在内存中以加快处理速度。 它应该能够支持多台机器的并发读取和写入(尽管读取将是普通的100倍)。基本上,目的是对Web服务的用户元数据进行快速的初始查找。 有人可以推荐任何东西吗? 解决方案 您可能想查看 Hazelcast ..

BigQuery和BigTable有什么区别?

有人出于某种原因会使用BigTable而不是BigQuery吗?两者似乎都支持读取和写入操作,而后者提供了高级的“查询”操作。 我需要开发一个联盟网络(因此,我需要跟踪点击次数和“销售”),因此我对差异感到困惑,因为bigQuery似乎只是具有更好API的bigTable。 解决方案 区别基本上是: BigQuery是一个查询引擎,用于那些变化不大或通过追加而变化的数据集。当您 ..

Bigtable CSV导入

我要导入Google Bigtable的多个文件(存储在存储桶中)中有一个较大的csv数据集(> 5TB).文件格式为: 行键,s1,s2,s3,s4 文字,整数,整数,整数,整数 ... 有一个带有hbase的importtsv函数,它很完美,但是在Windows中使用Google hbase shell时似乎不可用.可以使用此工具吗?如果不是,最快的方法是什么?我对hbase和 ..
发布时间:2020-07-11 23:46:17 其他开发