google-bigquery相关内容

如何在 node.js 中使用 OAuth2

我想使用@google-cloud 客户端库将数据插入到 BigQuery. 由于我有多个客户并且每个客户都有不同的 IAM 角色,因此我无法使用这样的服务帐户: const bigquery = new BigQuery({项目 ID:`myProject`,keyFilename: '/Users/services/ssh/myProject-111.json'}); 我宁愿像这样使用特 ..
发布时间:2021-12-30 23:28:55 其他开发

在 BigQuery 中执行循环

我有一个在 BigQuery 中看起来像这样的表: Type Start_Date End_Date Total_Spend电视 20180101 20180131 10000无线电 20180107 20180207 5000 我想运行一个查询,该查询运行一个循环,该循环创建一个表,将每一行拆分为一个日常表: 输入日期花费电视 20180101 322,6电视 20180102 322,6 ..
发布时间:2021-12-30 23:28:45 其他开发

是否有用于扩展表的 SQL 函数?

我依稀记得有一个函数可以做到这一点,但我想我可能要疯了. 假设我有一个数据表,称之为 table1.它有三列:column1、column2、column3.查询 SELECT * FROM table1 返回 table1 中的所有行/列.是不是有某种类型的 EXPAND 函数可以让我复制该结果?例如,如果我想将 SELECT * FROM table1 查询中的所有内容复制三次,我 ..
发布时间:2021-12-30 23:28:36 其他开发

BigQuery 按最后一个日期过滤并使用 Partition

我问了如何过滤最后一个日期并得到了很好的答案(BigQuery,where子句中如何使用别名?),它们都可以,但是,它们扫描整个表,字段SETTLEMENTDATE是一个分区字段,有没有办法只扫描一个分区 举个例子,我正在使用这个查询 #standardSQLSELECT * EXCEPT(isLastDate)从 (SELECT *, DATE(SETTLEMENTDATE) = MAX ..
发布时间:2021-12-30 23:28:30 其他开发

BigQuery:从带时区的日期时间中提取日期

我试图在 BigQuery 中返回一列,其中包含从 start_time 列中提取的日期. 列中的值格式为:11/27/2019 14:40:15 CET +0100 我编写了以下代码: SELECT EXTRACT(DATE FROM TIMESTAMP(start_time))AS日期从`cc_raw.cc_exp` 但是我收到错误消息:无效时间戳:'11/27/2019 14 ..
发布时间:2021-12-30 23:28:23 其他开发

如何合并两个 id 列,确定哪些行属于同一组相关 ID

我有 2 个独立创建/收集的 ID 列.我试图通过根据两个 ID 列中的任何一个确定哪些行是同一组相关 ID 的一部分,将这两个 ID 列合并为一个.我会根据一些规则认为行是相关的: 1:如果一个 LOAN 在多行中具有相同的值,则它们属于同一组(在示例中仅供参考.)我将其称为loan_group.这里没有问题. 2:如果一个 COLLATERAL 在多行中具有相同的值,则它们属于临时 ..
发布时间:2021-12-30 23:28:16 其他开发

Bigquery - 结构体格式

WITH yourTable AS (SELECT 1 AS id, '2013,1625,1297,7634' AS string_col UNION ALL选择 2, '1,2,3,4,5')选择身份证,(SELECT ARRAY_AGG(CAST(num AS INT64))FROM UNNEST(SPLIT(string_col)) AS num) 作为编号,数组(SELECT CAST( ..
发布时间:2021-12-30 23:28:10 其他开发

BigQuery 在其他区域之间有区域限制或延迟吗?

我想将数据从 GCE 实例存储在 BigQuery 上,并从不同的区域实例查询. 例如)存储来自欧盟实例的数据,来自美国实例的查询. 这可以毫不拖延吗? 我认为将数据复制到其他地区需要一些时间. 解决方案 BigQuery 有区域限制...? 很少,如下图 您不能在欧盟和美国地区之间复制表格.你会得到类似下面的内容 无法在不同位置读写:来源:美国,目的地:欧盟 ..
发布时间:2021-12-30 23:28:02 其他开发

将数组的列设置为 bigquery 脚本中的变量值

我正在尝试获取数组中多列的值,并将它们设置为可在循环中用于执行其他操作的变量.谢谢. DECLARE the_array ARRAY;设置 the_array = (SELECT ARRAY_AGG(STRUCT(value1,value2))从`project.dataset.table`WHERE somthing = 'somthing');环形SET i = i + 1;SET var1 ..
发布时间:2021-12-30 23:27:54 其他开发

BigQuery:如何将库加载到 Java 代码中

我是 Bigquery 的新开发人员.我正在关注 https://developers.google.com/bigquery/bigquery-api- 中的教程使用 Java 代码和从 https://developers.google.com/bigquery 导入的库的快速入门/客户端库.但是,我无法将库加载到 Java 代码中,例如import com.google.api.servic ..
发布时间:2021-12-30 23:27:47 Java开发

为 bigquery 按百分位获取行 ID 的最佳方法是什么?

我正在 BigQuery 中使用维基百科的公共数据集.我正在尝试查找字符数排在第 75、80、85 和 90 个百分位的维基百科文章的 ID. 我现在知道返回分位数的 QUANTILES 函数,但如何检索所有 ID? 解决方案 怎么样: SELECT a.id来自 [publicdata:samples.wikipedia] a交叉连接(SELECT NTH(75, QUANTIL ..
发布时间:2021-12-30 23:27:39 其他开发

阿帕奇梁 ->BigQuery - 用于重复数据删除的 insertId 不起作用

我正在将数据从 kafka 流式传输到 BigQuery,使用 apache beam 和 google dataflow runner.我想使用 insertId 进行重复数据删除,我发现在 google docs 中有描述.但是即使插入发生在彼此之间的几秒钟内,我仍然看到很多具有相同 insertId 的行.现在我想知道也许我没有正确使用 API 来利用 BQ 提供的流式插入的重复数据删除机制 ..
发布时间:2021-12-30 23:27:32 其他开发

如何在 BigQuery 中取消嵌套和透视两列

假设我有一个包含以下信息的 BQ 表 idtest.nametest.score 1 一 5 b 7 2 一 8 c 3 测试嵌套的地方.我如何将测试转入下表? id一个bc 1 5 7 2 8 3 我无法直接透视测试,因为我在 pivot(test) 收到以下错误消息:Table-valued function not found.以前的问题(1、2) 不处理 ..
发布时间:2021-12-30 23:27:24 其他开发

BigQuery SQL 排除 NOT IN 空结果

我遇到了不返回任何值的问题.数据库中有符合此条件的帐户.有点困惑为什么他们没有被退回.有什么建议吗? 从 `table1` 中选择 accountid不在的地方(从 `table1` 中选择 accountid,其中 action != "Action8") 解决方案 不要使用 not in.从语义上讲,这是违反直觉的.如果子查询中的任何值为NULL,则不返回任何行. 改用不存在; ..
发布时间:2021-12-30 23:27:16 其他开发

如何从 BigQuery 的 Openstreet 地图数据集中提取所有国家的几何图形

我正在使用此查询来提取所有使用 OSM 的国家/地区的几何图形,它可以正常工作,但我确信它正在创建一个重复项,因为我使用标志作为参考,有些地方有一个标志,但它们是不是真正的国家 SELECT feature_type, osm_id, osm_timestamp, geometry,ar.key,ar.value,从`bigquery-public-data.geo_openstreetmap. ..
发布时间:2021-12-30 23:27:09 其他开发

由于 order by,bigquery 资源受限

我正在运行以下查询时,出现“超出资源限制"错误.如果我删除最后一行(order by 子句),它会起作用: SELECTID,INTEGER(-position/(CASE WHEN fallback = 0 THEN 2 ELSE 1 END)) AS Major_sort从 (选择ID,倒退,ROW_NUMBER() OVER(PARTITION BY fallback) AS 位置从[表] ..
发布时间:2021-12-30 23:26:52 其他开发

HASH函数的一致性

一个非常简单的问题:BigQuery 的HASH 函数背后隐藏了哪个版本的 CityHash?它总是最新的(今天是 v1.1),还是固定版本? 现在,有点背景.我计划严重依赖 BigQuery 来存储大量数据.从这些数据中,我想第一次计算一些哈希值并存储它(类似于 hashed_value = HASH(CONCAT(column_0, column_1))).到现在为止还挺好.第二次,我想 ..
发布时间:2021-12-30 23:26:44 其他开发

Google Bigquery:不兼容的表分区规范

从未分区的临时表提交复制作业到按天分区的最终表时,我收到 cause:java.io.IOException: ErrorMessage: 不兼容的表分区规范.期望分区规范interval(type:day),但输入分区规范是none; 那么对于将作业复制到分区表的输入表是否有任何限制,如何克服这些限制?临时表是使用 Load 作业在 hadoop bigquery-connector 类中创 ..
发布时间:2021-12-30 23:26:29 其他开发

添加“计算列"无需重复计算即可进行 BigQuery 查询

我想在新的第三列中重新使用计算列的值.例如,此查询有效: 选择countif(cond1) 作为 A,countif(cond2) 为 B,countif(cond1)/countif(cond2) 作为 prct_pass从在哪里通过...分组 但是当我尝试使用 A,B 而不是重复计数时,它不起作用,因为 A 和 B 是 无效: 选择countif(cond1) 作为 A,countif( ..
发布时间:2021-12-30 23:26:18 其他开发