google-bigquery相关内容

如何使用 SQL 在 BigQuery 中查询 BYTES 字段?

我们对 Google BigQuery 表中的一个字段进行了 SHA256 加密，结果类型为 BYTES. 我们尝试编写各种匹配的字段查询，但没有一个显然是正确的. SELECT * WHERE字段 LIKE '16D6M7PN3w7Cn8mJyrmrUSZY9ummMf5QCGEMuiSmSlw='选择 ...字段 = '16D6M7PN3w7Cn8mJyrmrUSZY9ummMf5QC ..
发布时间：2021-12-30 23:19:44 其他开发

BigQuery NEST() 返回“错误:发生内部错误"

我正在尝试在 BigQuery 用户界面(而不是 API)中嵌套一个字段，并在尝试输出到表格而不展平时不断遇到错误: 错误:发生内部错误，无法完成请求. 我正在使用 NEST() 函数，我试过了这在公共莎士比亚数据集上并继续得到相同的错误. SELECT corpus, NEST(word) FROM [publicdata:samples.shakespeare] GROUP BY ..
发布时间：2021-12-30 23:19:35 其他开发

谁需要为 BigQuery 查询付费?

我仍然不清楚谁为我的数据集上的 BigQuery 查询付费.如果我与另一个用户共享了我的数据集并且另一个用户查询它，谁为这些查询付费?一年前有一个类似的帖子，但我仍然不确定我是否了解在这种情况下谁付款. 解决方案 如果您拥有一个数据集，您需要为该数据集中所有表的存储付费.您还需要为您运行的任何查询付费.如果其他用户对您的表运行查询，则会向他们收费，而不是您. 所有查询都在控制计费的项 ..
发布时间：2021-12-30 23:19:25 其他开发

在 Google BigQuery 中创建一列 UUID

Google BigQuery 不支持 UUID 作为数据类型.那么，哪个选项更好地存储它: STRING:8-4-4-4-12 格式的字符串 BYTES:16 个字节(128 位)的数组 解决方案 编辑:BigQuery 现在支持 函数调用 GENERATE_UUID.这将返回一个 STRING，其中包含 8-4-4-4-12 形式的连字符分隔的五组中的 32 个十六进制数字. ..
发布时间：2021-12-30 23:19:15 其他开发

BigQuery API 限制超出错误

我们在 tabledata.list 过程中遇到错误消息: API limit exceeded:无法返回超出 API 限制的行.要检索行，请导出表. 它未在 https://cloud.google.com/bigquery/troubleshooting 中列出-errors#errortable . 这个错误每次都会发生. 我们可以正常将这个表导出到GCS中.结果看起来很正常 ..
发布时间：2021-12-30 23:19:09 其他开发

如何在 BigQuery Standard SQL 中进行可重复采样?

在本博客 一位 Google Cloud 员工解释了如何在 BigQuery 中对用于机器学习的数据集进行可重复采样.这对于创建(和复制)数据的训练/验证/测试分区非常重要. 然而，该博客使用了旧版 SQL，它Google 现在已弃用而支持标准 SQL. 您将如何使用标准 SQL 重新编写如下所示的博客示例代码? #legacySQL选择日期，航空公司，出发_机场，出发时间表，到达机 ..
发布时间：2021-12-30 23:19:01 其他开发

是否可以在 google bigquery 中检索扩展或完整的查询历史记录?

我最近发现我不小心从 BigQuery 中删除了一个表，该表是通过查询其他表(我仍然拥有)构建的. 由于 BigQuery 中的表删除是永久性的(对吗?)，我想重建丢失的表，最好不要重写查询. WebUI 中的查询历史显然只显示有限数量的查询.不幸的是，我正在寻找的那个不在该列表中. 所以我的问题是，是否有可能以某种方式恢复从查询历史记录中消失的查询? (我知道我要查找的查 ..
发布时间：2021-12-30 23:18:51 其他开发

将数据从 Firestore 导入 bigQuery

我已将我的帐户升级为 blaze，这是先决条件之一.我尝试按照常见问题解答将 BigQuery 链接到 Firebase.仍然无法在 bigQuery 中看到来自 firestore 或 firebase-realtimeDatabase 的任何数据. 我在 bigQuery 中看到了创建数据集的选项.但是在创建数据集后，它允许我从 [file], [cloud storage], [big ..
发布时间：2021-12-30 23:18:34 其他开发

从 Google Cloud Storage 加载 csv 文件时出现 BigQuery 错误

我正在尝试将保存在 GCS 中的 csv 文件的数据加载到 BigQuery 中.csv 文件采用 UTF-8 格式，包含 7 列.我已经在数据方案中指定了这些列(所有字符串和可为空的)，并且我已经检查了看起来很好的 csv 文件的内容. 当我尝试加载数据时，出现以下错误: 遇到的错误太多.(错误代码:无效)gs://gvk_test_bucket/sku_category.csv:C ..
发布时间：2021-12-30 23:18:28 其他开发

import pyarrow not working <- 错误是“ValueError: The pyarrow library is not installed, please install pyarrow to use the to_arrow() function.";

我尝试在终端和 juypter 实验室中安装它，它说它已成功安装，但是当我运行 df = query_job.to_dataframe() 时，我不断收到错误“;ValueError: pyarrow 库未安装，请安装 pyarrow 以使用 to_arrow() 函数.".我不知道如何解决这个问题.有什么建议吗?我试图最终使用代码从谷歌数据工作室访问数据， from google.cloud ..
发布时间：2021-12-30 23:18:20 其他开发

在 Google BigQuery 中将多个数组连接成一个字符串

我的 bigquery 表数据如下所示 但我正在尝试连接数组值以实现如下输出. SATURDAY;12;23|WEDNESDAY;0;15 作为单列值 提前致谢！ 解决方案 这样的事情应该能让你朝着正确的方向前进.忽略前 2 个 CTE，因为它们只是复制您的示例数据. 与-- 重新创建示例数据温度为 (选择 5046528 作为 LineID，选择 'Saturday' ..
发布时间：2021-12-30 23:18:13 其他开发

如何向前填充表中的空值

我有一个如下所示的 Big Query 表:![表[(https://ibb.co/1ZXMH71)如您所见，大多数值都是空的.我想向前填充这些空值，这意味着使用按时间排序的最后一个已知值. 显然，有一个名为 FILL 的函数https://cloud.google.com/dataprep/docs/html/FILL-函数_57344752但我不知道如何使用它. 这是我尝试在 We ..
发布时间：2021-12-30 23:18:01 其他开发

Bigquery - 为每个 ID 添加完整的日期范围

我如何将 GENERATE_DATE_ARRAY(start_date, end_date[, INTERVAL INT64_expr date_part]) 应用于数据集中的每条记录.我了解如何应用它来获取从开始到结束的单个日期范围，但不知道如何将相同的日期数组应用于每个 id. 假设我有两个不同 ID 的 x 和 y，日期如下: |id|日期--------------1 |x |2 ..
发布时间：2021-12-30 23:17:48 其他开发

BigQuery 中的聚类是如何工作的

我有一个表 UNITARCHIVE 按日期分区，并按 UNIT、DUID 聚集. 表的总大小为 892 Mb. 当我尝试这个查询时 SELECT * FROM `test-187010.ReportingDataset.UNITARCHIVE` WHERE duid="RRSF1" and unit="DUNIT" Bigquery 告诉我，它将处理 892 mb，我认为聚类应该减 ..
发布时间：2021-12-30 23:17:29 其他开发

如何按表/数据集实时监控产生的 BigQuery 计费成本(已完成的作业)?

我的 BigQuery 计费的最大部分来自查询消耗.我试图通过了解哪些数据集/表消耗最多来优化这一点. 因此，我正在寻找一种方法来跟踪我的 BigQuery 使用情况，但理想情况下是更实时的(我不必等待一天才能获得最终结果).最好的方法是例如每个表/数据集在过去一小时内消耗了多少. 到目前为止，我设法找到了仪表板监控，但这仅允许显示每个项目进行中的查询和每个表存储的字节数，这不是我所追 ..
发布时间：2021-12-30 23:17:19 其他开发