bigtable相关内容

使用HTTP POST将OpenTSDB写入Bigtable不起作用(使用Kubernetes(

更新了更多信息 我正在按照此指南在Bigtable上设置OpenTSDB: https://cloud.google.com/solutions/opentsdb-cloud-platform 效果很好,一切都很好. 现在,我正尝试使用LoadBalancer(类型)打开opentsdb-write服务.看起来也很好. 注意:使用GCP负载平衡器. 然后,我正在使用失 ..

使用NOSQL进行联接操作

我已经阅读了一些有关Bigtable和NOSQL的文章.避免JOIN操作是非常有趣的. 作为一个基本示例,让我们使用Employee和Department表,并假设数据分布在多个表/服务器上. 只想知道,如果数据分布在多个服务器上,我们该如何进行JOIN或UNION操作? 解决方案 当您拥有非常大的数据时,您可能希望避免联接.这是因为单个键查找的开销相对较大(服务需要找出要查询 ..
发布时间:2019-09-19 15:58:31 其他开发

如果HBase没有在分布式环境中运行,HBase是否有意义?

我正在构建一个数据索引,这将需要以(文档,术语,权重)格式存储大量三元组。我将存储高达几百万这样的行。目前我正在MySQL中做这个简单的表格。我将文档和术语标识符存储为字符串值,而不是外键到其他表。我正在重新编写软件并寻找更好的数据存储方式。 考虑HBase的工作方式,这似乎很适合模式。我可以将文档映射到 {term =>重量} 。 我在单个节点上执行此操作,所以我不在乎分布式节点等。 ..
发布时间:2018-05-31 19:16:54 数据库

是否有可能在多个GAE应用程序之间共享数据存储

我喜欢在其他GAE应用程序中处理保存在一个GAE应用程序中的数据。 基本上在Google App Engine(Python)开发和生产中的多个Web应用程序之间共享数据存储。 如果可能的话: http:// localhost:#### / _ ah / admin / datastore 我喜欢在没有运行和/或在一个屏幕上运行的其他应用程序中查看数据? 感谢您的帮助! ..
发布时间:2018-05-03 18:48:47 Python

Google App Engine上的博客标记系统的数据建模建议

我想知道是否有人可以提供一些有效的方法来建立一个数据模型来完成下面描述的简单系统的概念性建议。对于以非关系方式进行思考有点新,并且想要避免任何明显的缺陷。我的理解是,一个基本的原则是“存储便宜,不用担心数据重复”,就像在规范化的RDBMS中一样。 我想要建模的是: 可以给出0-n标签的博客文章。许多博客文章可以共享相同的标签。当检索数据时,希望允许检索与标签匹配的所有文章。在很多方面与 ..
发布时间:2018-05-03 18:26:21 Python

nosql数据库中的树结构

我正在为Google App Engine开发一款应用程序,该应用程序使用BigTable作为其数据存储区。 这是一个关于共同编写故事的应用程序。这是一个非常简单的爱好项目,我只是为了娱乐而工作。它是开源的,你可以在这里看到: http://story.multifarce.com/ 这个想法是任何人都可以写一段,然后需要另外两个人来验证。一个故事也可以在任何一个段落中分支,这样故事的 ..

Google Bigtable vs BigQuery用于存储大量事件

我们希望将我们的不可变事件存储在(最好)托管服务中。 一个事件的平均大小小于1 Kb,我们每秒钟处理1-5个事件。存储这些事件的主要原因是能够在我们创建可能对这些事件感兴趣的未来服务时重播它们(可能使用表扫描)。由于我们在Google Cloud,因此我们显然将Google的服务视为首选。 我怀疑 Bigtable 会非常适合这一点,但根据价格计算器,它将花费我们超过1400美元每月(这对我 ..

BigTable是慢还是我笨?

我基本上都有经典的很多型号。用户,奖励和用户与奖励之间的“多对多”表格映射。 每个用户都有400个奖项,每个奖项是给予约1/2的用户。 我想迭代所有用户的奖励,并总结一下他们的观点。在SQL中,它将是多对多之间的表连接,然后遍历每个行。在一个具有MySQL实例的体面机器上,400行不应该是一个很大的事情。 在应用引擎上,我看到大约10秒钟来完成总和。大部分时间都花在Google的 ..
发布时间:2017-06-03 11:38:12 其他开发

appengine python中的parent->子关系(bigtable)

我还在学习关于bigtable / nosql中的数据建模方面的经验教训,并会感谢一些反馈。如果我经常需要在父母之间共同处理孩子,那么说我应该避免父母 - 子女的关系? 举个例子,假设我正在建立一个由一些作者贡献的博客,而且每个帖子都有帖子,每个帖子都有标签。所以我可以设置这样的东西: 类作者(db.Model): owner = db。 UserProperty() clas ..
发布时间:2017-03-22 00:12:42 Python

Bigtable数据库设计理论

我很精通关系数据库设计的理论和实践。 我知道什么是有效的,什么不行,什么是性能和什么是可维护的(几乎 - 在开始获取真实数据的时候总是有调整的地方)。 似乎我找不到关于分布式可扩展数据库的大量知识,例如Google的Bigtable(用于为Google应用引擎编写应用)。有什么工作,什么不会,什么将扩大,为什么不会? 当然有一些博客文章和文章,但有书籍或学术研究论文设计大型桌面和 ..
发布时间:2017-03-21 23:52:34 其他数据库

数据库设计 - 谷歌应用引擎

我正在使用谷歌应用引擎,并使用低级别的Java API来访问Big Table。我正在构建一个4层的SAAS应用程序: 客户端浏览器 RESTful资源层 业务层 数据访问层 我正在建立一个应用程序来帮助管理我的移动自动化细节公司(和其他人喜欢它)。我必须代表这四个独立的概念,但不确定我目前的计划是否是一个好的: 约会 行项目 发票 付款 约会:“预约”是员工预 ..

Google的Bigtable与关系数据库

重复 为什么我应该使用基于文档的数据库而不是关系数据库? 基于文档的数据库与关系数据库的优点/缺点 我不太了解Google的Bigtable,但想知道Google的BigTable和像MySQL这样的关系数据库。两者有什么限制? 解决方案 Bigtable是Google发明来处理公司经常处理的大量信息。Bigtable数据集可以增长巨大的大小(许多PB),存储分布在大量的服务器 ..
发布时间:2017-03-16 21:25:32 其他数据库

Pro的数据库像BigTable,SimpleDB

新学校的数据存储范例(如Google BigTable和Amazon SimpleDB)专为可扩展性而设计,除其他外。基本上,禁止联接和非标准化是完成此操作的方式。 在这个主题,但是,一致似乎是大型表上的联接不必要太昂贵,反规范化在某种程度上被”过度“ 为什么,那么,上述这些系统是否禁止连接,并在一个表中强制一切,以实现可扩展性?是否是需要存储在这些系统中的绝对数据量(数TB)? 数 ..