google-bigquery相关内容

BigQuery授权查看多个项目

所有分析师都可以访问[Project X]:[数据集A]其中包含的视图指向[Project Y]:[数据集B]。 我跟随了如何在这里设置授权视图的教程 https://cloud.google.com/bigquery/docs/share-access-views ,并给了分析师关于[Project X]的权限bigquery.jobUser,并且与他们共享数据集[Project X]:[ ..
发布时间:2018-05-07 17:39:08 其他开发

如何在bigquery中处理动态模式

我的数据如下所示: 第1行 - {“id”:“1”,“object”:“user”,“metadata”:{“name”:“1234 “}” rows 2 - {“id”:“1”,“object”:“user”,“metadata”:{“name”:“我创建了表格1 code>元数据RECORD NULLABLE metadata.tenant STRING NULLABLE 对象STR ..
发布时间:2018-05-07 17:39:04 其他开发

谷歌bigquery从日期减去任何数量的营业日

我正在尝试构建一个可以从日期中减去任意数量的工作日的函数。到目前为止,我与这个 CREATE TEMPORARY FUNCTION working_days_diff(the_date DATE,num_of_days INT64)AS ( 在(2,3,4,5,6,7) THEN 中提取(DAYOFWEEK FROM the_date)时的案例(EXTRACT(DAYOFWEEK F ..
发布时间:2018-05-07 17:38:57 其他开发

无法使用标准sql的bigrquery

我在一个R ipython笔记本(相对R新手)中工作,并尝试使用'bigrquery'从Google Big Query中提取数据。我被告知这应该很简单,但使用标准sql提取不起作用。 这是我的代码: require(“bigrquery”) #在这里使用您的项目ID 项目 ..
发布时间:2018-05-07 17:38:50 其他开发

Google BigQuery价格优化

我在BigQuery中创建了一个表格,我们称之为“user_activities_data”。 我使用Google BigQuery将用户数据活动存储在我的应用程序中。 p> 这些数据包括许多数据用户活动,每秒都会更新一次。每秒钟都会有数千个新数据插入表中。 我对这张表做了很多查询。 我知道BigQuery的收费标准是您为每个查询使用了多少数据。我已经尝试优化我的查询,尽可能少 ..
发布时间:2018-05-07 17:38:45 其他开发

使用BigQuery按月检索AVG Temp?

使用 fh-bigquery:weather_gsod 数据集,我想检索特定国家/地区所有电台的一些月度天气数据。也就是说,我想从1929年到现在每月的平均温度,每月平均最高值和每月平均最低值。 这是我写的从一张表中检索我需要的东西,我得到的数据似乎是正确的: SELECT stn,FIRST(name)AS station_name,mo,(AVG(temp )-32)* 0.55 ..
发布时间:2018-05-07 17:38:43 其他开发

如何从Tableau查询BigQuery中的分区表

我们在google bigquery中有一个分区表,我们使用_PARTITIONTIME字段进行查询(否则查询将花费太多)。 如何使Tableau使用_PARTITIONTIME伪列? 解决方案 在Tableau中配置数据源时,从可用源列表中选择“Google BigQuery” OAuth舞蹈,然后选择你的项目和数据集。 此时,您将看到数据集中的表格列表,以及底部使用“新建自 ..
发布时间:2018-05-07 17:38:40 其他开发

Bigquery - 交叉连接的替代方案

除了我在查询中为每个用户标识在过去7天中查询 count(nativeprodID)指定的内容之外,还必须在我的输出中有下列列 在过去15天内每个用户ID的(nativeProdID)数量 过去30天内每个用户ID的(nativeprodID)数量 $ b $ p SELECT userid,nativeprodID,nativeVersion,nativeVersion ..
发布时间:2018-05-07 17:38:36 其他开发

如何搜索包含特定单词的行然后返回每个单词的计数?

列文字我有150,000行数据,我试图在Google BigQuery中查询。包含各种长度的文本,我想从中查询特定的关键字。 我已经得到了下面的查询,它返回包含特定关键字的所有行如:Facebook): pre $ 从Data.Set_1中选择文本 WHERE文本CONTAINS'facebook' code> 问题: 1)我是否改进了查询,以便在新列中的“文本”中返回 ..
发布时间:2018-05-07 17:38:31 其他开发

数据流中的动态bigquery表名

基本上,我们希望根据特定列的值(而不是日期)将大型(数十亿行)bigquery表拆分为大量(大约为10万个)较小的表。我无法弄清楚如何在bigquery中有效地做到这一点,所以我正在考虑使用数据流。 使用数据流,我们可以先加载数据,然后为每个记录创建一个键值对,关键字是我们想要拆分表的特定列的所有可能值,然后我们可以通过键对记录进行分组。所以在这个操作之后,我们有(密钥,[记录])的PCol ..
发布时间:2018-05-07 17:38:28 其他开发

Google Big Query错误:CSV表遇到太多错误,放弃。行:1错误:1

在这里输入图像说明我试图在12 GB csv上运行查询文件加载谷歌大查询,我不能运行任何查询数据集。我不确定数据集是否正确加载。它在窗格中显示为表格,但它不存在于作业历史记录中。任何人都可以提供相同的帮助。 数据集是从一个具有大约1.2MM记录和3728个变量的谷歌存储桶中加载的 工作编号:pg-us-adv-x-dat-aia-proto-1:bquijob_b951879_1540 ..
发布时间:2018-05-07 17:38:26 其他开发

将大量数据从Python加载到Google BigQuery中

我现在一直在努力将大块数据加载到bigquery中。在Google的文档中,我看到 insertAll 方法,这似乎工作正常,但当我尝试通过约100k的JSON数据发送任何内容时,会出现413”实体太大“的错误。 根据Google的文档,我应该能够在JSON中发送最多1TB的未压缩数据。是什么赋予了?上一页中的示例让我手动构建请求主体,而不是使用insertAll,这更丑陋,更容易出错。我也不确定 ..
发布时间:2018-05-07 17:38:21 Python

如何使用大查询中的命令行删除/截断表中的数据?

我尝试使用bq查询“select query” 它仅适用于Select语句 解决方案 请注意, BigQuery 真正擅长作为辅助数据库,用于对静态大数据执行快速分析查询,例如记录数据分析,日志和审计历史记录。 如果您需要定期更新数据,请强烈建议使用独立的主数据库,例如数据存储区以快速执行实体操作和更新。然后,您可以将数据从主数据库保存到辅助BigQuery数据库中以进一步分析 ..
发布时间:2018-05-07 17:38:18 其他开发

在Google bigquery中转换数据 - 提取文本,将其拆分为多个列并旋转数据

我有一些大型查询中的博客数据,我需要进行转换以使其更易于使用和查询。数据如下所示: > 我想在结果{... ..} (彩色蓝色)之后提取并转换数据内的曲线括号。数据的形式为'(\d +((PQ)|(KL))+ \ d +)',结果数组中可以有1-20 +条目。我只对前16个条目感兴趣。 我已经能够使用Substr和regext_extract将卷曲括号内的数据提取到新列中。但我无 ..
发布时间:2018-05-07 17:38:16 其他开发

无法将查询保存为视图表

我有一个查询运行并可以看到结果。但在尝试将查询保存为视图表时,我收到错误消息: 无法保存视图。未找到合适的凭据来访问Google 云端硬盘。请联系表主人寻求帮助。 我认为问题是由查询中使用的表引起的。该表格是由我自己的Google表格(带有源URI)上传的。我试图从该项目启用Google Drive API,但没有运气。不知道如何让BigQuery访问Google Drive。解决方 ..
发布时间:2018-05-07 17:38:14 其他开发