google-bigquery相关内容

BigQuery GENERATE_UUID() 和 CTE

这种行为让我有点惊讶. 当您在 CTE 中生成 uuid(用于制作行 ID 等)并在将来引用它时,您会发现它发生了变化.似乎 generate_uuid() 被调用了两次而不是一次.有谁知道为什么 BigQuery 会出现这种情况以及这叫什么? 我使用 generate_uuid() 来创建一个 row_id 并发现在我最终的连接中没有匹配发生.我发现解决它的最佳方法是从第一个 CTE ..
发布时间:2021-12-30 23:22:59 其他开发

如何使用脚本生成 INTERVAL 1 <day|week|month>?

我们试图找到一种语法来从日期函数的第三个参数生成 DAY|WEEK|MONTH 选项. DECLARE var_date_option STRING DEFAULT 'DAY';选择 GENERATE_DATE_ARRAY('2019-01-01','2020-01-01',INTERVAL 1 WEEK)动态参数在这里-^^^ 您知道在 DECLARE 中使用的正确语法是什么吗?应该将其转换 ..
发布时间:2021-12-30 23:22:48 其他开发

未展平结果时 NEST 的内部错误

我正在尝试对重复的字段进行分组并将其返回到新表中 SELECT url, NEST(label) AS 标签来自 [mytable]按网址分组 当我选中“展平结果"复选框时,它就起作用了.当我取消选中该框时,我收到“错误:发生内部错误且无法完成请求." 本体知识图:job_qD7a2Wrq9uCTqZrMbvwdy3v9Vtg 解决方案 NEST 不幸的是与 unflattene ..
发布时间:2021-12-30 23:22:39 其他开发

如何删除/更新bigquery中的嵌套数据

有没有办法删除/更新 bigquery 中的嵌套字段? 假设我有这些数据 wives.age wives.name 姓名21 天使亚当20 羽衣甘蓝21 维多利亚·罗西20 杰西卡 或在 json 中: {"name":"adam","wives":[{"name":"angel","age":21},{"name":"kale","age":20}]}{"name":"rossi", ..
发布时间:2021-12-30 23:22:31 其他开发

如何从 Google BigQuery 将数据加载到 Google Cloud Bigtable

我需要将数据填充到 Google Cloud Bigtable 中,数据源将是 Google BigQuery. 作为练习,我可以从 BigQuery 读取数据 作为一个单独的练习,我能够也将数据写入 Bigtable. 现在我必须将这 2 个操作合并到一个 Google Cloud Dataflow 作业中.任何示例都会有很大帮助. 解决方案 您可以只使用这些示例中所示的转换 ..

如何在新架构中编写 Bigquery,并从 Firebase 分析替换旧架构中的 event_dim?

旧的 BigQuery Export 模式智能脚本正在运行.如下所示.但是我想复制此代码并根据新的导出模式编写它,因为我们的 Bigquery 模式已更改.请帮忙,因为在新的 BigQuery 导出架构中我没有找到任何其他相应的记录event_dim(event_dim 根据旧的 BigQuery Export 架构). 这是 BigQuery 导出架构的链接: 点击这里 SELECT ..

在多个用户之间共享 BigQuery 的缓存

据我所知,BigQuery 的缓存机制已启用每个用户的基础.但我们希望能够在项目/数据集/表级别上共享缓存. 例如,John &Mary 都在同一个 Google 项目 XYZ 上工作.他们喜欢使用 BigQuery,并且都查询数据集 Foo 中的表 Bar,即 XYZ:Foo.Bar 以从他们的数据中获得漂亮的见解. John 登录并针对 XYZ:Foo.Bar 编写一个查询,执行需 ..
发布时间:2021-12-30 23:21:41 其他开发

BigQuery 同步查询未返回任何结果

根据 https://cloud.google 中列出的 BigQuery 文档.com/bigquery/querying-data#asynchronous-queries: 通过 BigQuery API 进行的查询有两种类型.同步和异步.使用提供的示例代码,异步非常适合我,但同步则不然. 如果您单击上面的链接,就会显示我所指的示例代码.我注意到的是,它实际上并没有等到结果可用. ..
发布时间:2021-12-30 23:21:33 其他开发

Google BigQuery API PHP 凭证

我想实现 Google BigQuery API,以便我可以从 BigQuery 中的 PHP 代码执行查询. 首先我通过以下命令安装了客户端库: composer 需要 google/cloud 其次,我通过以下命令安装了 Google Cloud SDK: curl https://sdk.cloud.google.com |猛击 然后我运行这个命令来创建凭证: gcloud ..
发布时间:2021-12-30 23:21:18 PHP

BigQuery 不使用分区列处理以毫秒为单位的时间戳

我有一个 unix 时间戳列,它在我的 csv 文件中以毫秒表示.现在,当我在 bigQuery 表中插入此数据并进行查询时,出现此错误 bigQuery 不支持毫秒时间戳 现在我想将此列作为分区列.我有几个问题1)即使我保存为int64,我如何在这个字段上做一个分区列?2)我想避免重复的表. 解决方案 如果您的时间戳数据以毫秒表示,您将无法正确创建分区表.相反,您应该使用@T ..
发布时间:2021-12-30 23:20:54 其他开发

Google Data Studio 无法探索 Big Query 时间分区表

在连接到 Google Data Studio 后尝试在其中探索 Big Query 表时,我收到以下错误.任何想法如何处理它或它意味着什么? 查询返回错误. 无法识别的名称:_PARTITIONTIME at [1:167] 错误 ID:a6e0a88c 解决方案 在您的 Data Studio 编辑器中,单击资源 --> 管理添加的数据源,然后转到编辑连接. 可以选择 ..
发布时间:2021-12-30 23:20:47 其他开发

如何让 Google BigQuery 正确检测标题名称?

我使用上传到 Google Cloud Platform's Storage 的数据成功创建了一个新表,但问题是当我使用自动检测设置并将“标题行跳过"设置为 1 时,标题字段名称总是错误的...我刚刚得到了通用名称,例如“string_field_0". 我知道我可以在 Schema 下手动添加字段名称,但是,这对于具有许多字段的表是不可行的.有没有办法修复标题名称?不过,这似乎没什么大不了 ..
发布时间:2021-12-30 23:20:32 其他开发

定期更新的 bigquery 数据库中的记录顺序

我将在 bigquery 上维护数据库的本地副本.我将使用 API 和 tabledata:list.这个数据库不是我自己的,维护者会通过附加新数据(比如每小时)定期更新. 首先,我可以假设当附加这些数据时,它肯定会被添加到数据库的末尾吗? 现在,让我们假设当前数据库有 1,000,000 行,我现在通过对 tabledata:list 进行分页来下载所有这些行.此外,我们假设数据库在 ..
发布时间:2021-12-30 23:20:26 其他开发

如何将 json 从云存储上的文件导入 Bigquery

我正在尝试通过 api 将文件 (json.txt) 从云存储导入 Bigquery 并抛出错误.当这通过 web ui 完成时,它可以工作并且没有错误(我什至设置了 maxBadRecords=0).有人可以告诉我我在这里做错了什么吗?代码有误,还是我需要在 Bigquery 的某处更改某些设置? 该文件是一个纯文本 utf-8 文件,内容如下:我一直在看有关 bigquery 和 jso ..
发布时间:2021-12-30 23:20:19 Python

从 Bigquery 中的时间戳中提取日期:一种更可取的方法

给 Bigquery 专家的一个简短问题. 这里有两种使用标准SQL从Bigquery的时间戳中提取日期的方法 #standardSQL#1日期(TIMESTAMP_MILLIS(CAST((timestamp) AS INT64)))#2提取(从 TIMESTAMP_MILLIS 开始的日期(时间戳)) 哪个更可取,为什么?谢谢! 解决方案 这真的归结为个人喜好;一个并不优于另 ..
发布时间:2021-12-30 23:20:10 其他开发

BigQuery:如何将其中一列的类型从 INTEGER 更改为 STRING?

在 BigQuery 中,假设我有一个包含 X 字段的现有表.字段 1 当前是整数,但我想将其更改为字符串. 我需要保留当前在字段 1 中的数据,同时能够将字符串数据插入到该字段中. 我认为目前在 Google BigQuery 中无法修改列的类型.我认为我们可以对表进行的唯一修改是添加带有 Table.Update 命令 那么最好的方法是什么? 我正在考虑这样做,但我希望 ..
发布时间:2021-12-30 23:20:00 其他开发