谷歌的BigQuery底层架构 [英] Google BigQuery Underlying Architecture
问题描述
所以我刚开始与谷歌的BigQuery乱搞大约10分钟前，我想知道是否有人意识到，他们正在使用到存储数据的底层架构？例如，这只是下一代自己的BigTable基础设施的？
So I just started messing around with Google BigQuery about 10 minutes ago, and I was wondering if anyone is aware of the underlying architecture that they're using to store the data? For example, is this just the next generation of their own BigTable infrastructure?
此外，是明确表示，他们正在使用什么样的策略索引，索引重建等？我只是试图分析这是否是足够成熟，在这一点上，你可以100％肯定这是怎么回事与您的数据终端到终端的，或者是有一个黑盒区域，事情只是工作的
Also, is it clear what sorts of strategies they're using for indexes, index rebuilds, etc? I'm just trying to analyze whether this is mature enough at this point where you can be 100% sure of what's going on with your data end-to-end, or is there a bit of a black box area where "things just work"?
推荐答案
有没有索引...每一个查询表扫描。查询体系结构描述<一个href=\"http://static.googleusercontent.com/media/research.google.com/en/us/pubs/archive/36632.pdf\">here.
您的数据存储在一个名为ColumnIO上巨像（继任者GFS）的专有栏格式。巨像复制一个数据中心内的数据和数据也复制到其他地理区域，以确保它保持可用即使谷歌的数据中心已经下线。
There are no indexes... every query is a table scan. The query architecture is described here. Your data is stored in a proprietary columnar format called ColumnIO on Colossus (a successor to GFS). Colossus replicates the data within a datacenter and your data is also replicated to other geographic regions to make sure it stays available even if a Google datacenter goes offline.
要回答你的具体问题。
- 尽管数据可能会被暂时储存在Bigtable中，所有的数据都存储长期的巨像（现在！）。
- 新数据在加密静止（即，每当它被写入到永久存储）。当通过网络发送它也被加密。
- 正如前面提到的，没有指标，所以有重建索引没有战略。这取决于你如何将数据添加到您的表格，你的表可能被合并，这意味着更有效的方式重写底层的文件。
- 巨像underlies谷歌的数据在广泛服务的巨量，ColumnIO在整个谷歌的标准。我所说的这两种技术的成熟。
- 但是，你也应该认为这是一个黑盒子。此处所有的细节可能会在谷歌或成熟的架构变化的存储系统发生改变。然而，它应该永远只是工作（SLA警告范围内，当然）
加入BigQuery的
如果你准备的BigQuery在幕后是如何工作的以及如何有效地使用它感兴趣的更多的细节，这里是我们的book 。
If you're interested in more details about how BigQuery works under the covers or how to use it effectively, here is a shameless plug for our book on the subject which is due out in June.
这篇关于谷歌的BigQuery底层架构的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
