获取“查询太大"在 BigQuery 中 [英] Getting "Query too large" in BigQuery

问题描述

我将事件数据存储在 BigQuery 中，按天分区 - 每天一张表.以下查询失败:

I am storing event data in BigQuery, partitioned by day - one table per day. The following query failed:

select count(distinct event) 
from TABLE_DATE_RANGE(my_dataset.my_dataset_events_, SEC_TO_TIMESTAMP(1391212800), SEC_TO_TIMESTAMP(1393631999))

每张表的大小约为 8GB.

Each table is about 8GB in size.

有没有其他人遇到过这个错误?似乎它受表大小的限制，因为在此查询中，我仅将其限制为一列.当我使用较小的时间范围时，它可以工作..但使用 BigQuery 的全部意义在于它对大型数据集的支持.

Has anyone else experienced this error? Seems like it's limited by table size, because in this query, I've only limited it to just one column. When I use a smaller time range, it works.. but the whole point of using BigQuery was its support for large datasets.

推荐答案

在这种情况下，查询太大"意味着 TABLE_RANGE 在内部扩展到太多表，生成的内部查询太大而无法处理.

"Query too large" in this case means that the TABLE_RANGE is getting expanded internally to too many tables, generating an internal query that is too large to be processed.

这有两种解决方法:

• 查询更少的表(您能否将这些表聚合成一个更大的表?).
• 等待 BQ 团队在内部解决此问题.您应该能够不加修改地运行此查询，而不是使用变通方法.只是不是今天:)

这篇关于获取“查询太大"在 BigQuery 中的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！