google-bigquery相关内容

Python BigQuery真的很奇怪的超时

我正在构建一项服务,将数据流式传输到bigquery中。下面的代码完美地工作,如果我删除需要4-5分钟加载(我正在preaching一些映射)的部分 from googleapiclient导入发现 来自oauth2client导入文件$ b $来自oauth2client导入客户$ b $来自oauth2client导入工具 $ b来自oauth2client.client impor ..
发布时间:2018-05-03 14:56:26 Python

如何将BigQuery查询结果保存到另一个表中?

我想将查询结果保存到新表中。 使用BigQuery在线编辑器,如 bigquery.cloud.google ,我可以轻松地使用微解决方案。 结果插入〜150.000.000行几秒钟。 但我如何通过BigQuery API使用“目标表”参数运行查询 / strong>? 解决方案 通过使用 Jobs.insert API调用。 例如,在Java中: [...] ..
发布时间:2018-05-03 14:54:02 其他开发

如何使用服务帐户与gsutil,用于上传到CS + BigQuery

首先,我尝试上传数据到gsutil,通过使用我在Google API控制台中创建的服务帐户来上传数据到Google BigQuery使用 gsutil 访问云存储,因为这似乎是推荐的模式。一切工作正常与Gmail用户批准,但它不允许我使用服务帐户。 看来我可以使用Python API来获取访问令牌使用已签名的JWT凭据,但我更愿意使用像gsutil这样的命令行工具来支持可恢复上传等。 ..
发布时间:2018-05-03 14:45:19 其他开发

Google Bigquery:不兼容的表格分区规范

在从未分区的临时表提交复制作业到有白天分区的最终表时,我收到 原因:java.io.IOException:ErrorMessage:不兼容的表分区规范。预计分区规格间隔(类型:日),但输入分区规格为无; 那么复制作业的输入表对分区表有什么限制吗?它们如何克服?临时表是在使用Load作业的hadoop bigquery-connector类中创建的。 JobConfigur ..
发布时间:2018-05-03 14:36:23 其他开发

BigQuery和OAuth2

我尝试使用服务访问Google BigQuery帐户方法。我的代码如下: private static final HttpTransport HTTP_TRANSPORT = new NetHttpTransport(); private static final JsonFactory JSON_FACTORY = new JacksonFactory(); Googl ..
发布时间:2018-05-03 14:22:17 Java开发

userId在BigQuery中没有显示

BigQuery中userId是 null 的原因是什么?来自Google Analytics的数据会发送给BigQuery,但userId不会传递。 userId被发送到GA,但是它可能是BigQuery中不可用的原因? 解决方案 我在假设下运行根据以下内容,此字段有意从所有GA - > BQ摘录中提出: https://support.google.com/analytics/a ..
发布时间:2018-05-03 14:10:58 其他开发

在BigQuery上重新创建GA漏斗

我正在尝试使用BigQuery重新创建GA漏斗(Google360上的自定义报告)。 GA上的漏斗使用每页上发生的事件的唯一计数。我在网上发现了大部分工作的查询: SELECT COUNT(s0.firstHit)AS Landing_Page , COUNT(s1.firstHit)AS Model_Selection from( SELECT s0.fullvisito ..
发布时间:2018-05-03 14:08:18 其他开发

字符串字节到字符串 - 大查询

我有下面的查询,它生成的数据添加了 \“>不确定是否字符串字节导致此问题,因为 string_agg 产生字符串字节作为输出。 #standardSQL SELECT visitid, fullVisitorId, hits.hitNumber, TO_JSON_STRING(ARRAY( SELECT AS STRUCT productSKU, ARRAY(SELE ..
发布时间:2018-05-03 14:07:46 其他开发

使用Google Big Query为嵌套表格选择每个着陆页的收入

我试图拿起Google Big Query,并且想象我们可以如何为伦敦骑行头盔GA样本数据复制一些标准报告。我偶然发现的一个简单例子是选择收入按登录页面分割的总和。 嵌套表格对我来说是新手,我很努力地找到任何示例使用标准SQL来做这个或类似的事。 这怎么用标准的SQL来完成?或者任何人都可以将我指向任何类似的例子? 更新 不提前提供更多细节。我已经取得了一些进展,使我能够发 ..
发布时间:2018-05-03 14:06:22 其他开发

BigQuery到Hadoop集群 - 如何传输数据?

我有一个Google Analytics(GA)帐户,可以跟踪应用的用户活动。我设置了BigQuery,以便我可以访问原始GA数据。数据每天都会从GA传送到BigQuery。 我有一个python应用程序,它以编程方式查询BigQuery API。这个应用程序给了我所需的响应,具体取决于我所要查询的内容。 我的下一步是从BigQuery获取这些数据并将其转储到Hadoop集群中。我想理 ..
发布时间:2018-05-03 14:04:39 Python

提取Firebase / BigQuery DAU,WAU和MAU

我不想过于复杂化这个问题,所以我会尽量避免混淆。 我需要的结果是双重的。我希望 在以下内容中为移动应用程序确定DAU,WAU和MAU:a)Google Analytics以及b)Firebase Analytics。我想可以把更多的注意力放在b)上,因为他们正在转向架构和分析之间更紧密的整合,以便将来的应用程序开发。 在Google Analytics中计算DAU,WAU和MAU : ..

合并日期,hits.hour&命中。分钟字段

我想结合日期,hits.hour&将hit.minute字段合并到一个日期字段中,Tableau可以轻松读取这些日期字段以进行可视化。 目前日期是一个字符串,hits.hour& hits.minute是整数。 最后,日期应该是YYYY-MM-DD& hh:mm。 Atm我将日期转换为字符串,但我不知道如何合并现在的字段,或者一般情况下如果第一步是正确的话。 Best, ..
发布时间:2018-05-03 14:02:41 其他开发

`fullVisitorId` => clientId,一对多映射?

我觉得 fullVisitorId 只是clientId的一个散列,所以这两者之间应该有一对一的映射关系。但是在这里,我遇到了很少 fullVisitorId 映射到两个不同的客户端Id (我们将GA客户端ID收集到用户自定义维度中) 这可能吗?在什么情况下? 感谢您对此进行任何澄清 干杯! [edit:]附加屏幕截图 解决方案 您可能有兴趣阅读 BigQuery的 ..
发布时间:2018-05-03 14:01:49 其他开发

BigQuery过滤标准sql中的记录

我正在计算在我们的主页上提交邮编的所有访问者。我在传统SQL中提出了以下查询: pre $ SELECT $ $ $ b $ TABLE_DATE_RANGE([ga_sessions_],TIMESTAMP ('2017-01-29'),CURRENT_TIMESTAMP()) where hits.page.pagePath ='/ broadband /' and visitSta ..
发布时间:2018-05-03 13:55:58 其他开发

Google Analytics(分析)的用户数量不匹配大查询“用户数量”

我们的Google Analytics(分析)“用户数”与我们的大查询“用户数”不匹配。 我是否正确计算? 通常情况下,GA和BQ非常接近......尽管并非如此。 最近,GA中的用户数与vs .BQ不协调。 我们的'每用户会话数'通常有一个非常正常的 分布。 在过去的4周里,'每用户会话数'(GA)与 有一些偏差。 在BQ中同一时间段内交叉检查数据时,无法复制 ..
发布时间:2018-05-03 13:53:02 其他开发

BiqQuery vs Google Analytics,哪些数据更准确?

作为高级Google Analytics / BigQuery客户,我们的问题是,哪些数据更准确? 我倾向于倾向于倾向因为我们实际上可以看到原始数据,但是我们没有深入了解Google Analyitcs用于计算其数量的方法。我也认为很多都与SAMPLING有关。 当您为单个页面计算一些简单的总页面浏览量时,Google Analytics数字与中的BigQuery排列在一起0.0000 ..
发布时间:2018-05-03 13:50:52 其他开发

Hive表中的Google Analytics报告和BigQuery数据的统计差异

我有一个Google Analytics高级帐户,用于监控网站和移动应用程序的用户活动。 来自GA的原始数据存储在BigQuery表中。然而,我注意到统计数据在GA报告中看到的统计信息与我在查询BigQuery表格时看到的统计信息非常不同。 据我了解,GA报告显示汇总数据和可能的采样数据。并且BigQuery表中的原始数据是会话/命中级数据。 但我仍然不确定是否理解统计数据可能会 ..
发布时间:2018-05-03 13:49:07 其他开发

Big Query - Google Analytics - 首次访问和购买之间的时差

试图获得一个列表: visitorid,首次访问时间,事件发生时间。 我写的只是抓取有交易收入的行。我也试图通过日期(visitStartTime)将visitStartTime(一个unix日期)转换为常规日期,但是由于输出的日期而导致该组失败。 任何方向都很有帮助。 SELECT fullvisitorID, visitNumber, visitStartTi ..
发布时间:2018-05-03 13:46:34 其他开发

在使用BigQuery提取匹配级别数据时,Google Analytics指标被夸大了

我试图在我链接到bigquery的Google Analytics汇总属性中显示源属性名称。问题是,当我尝试下面的一些指标变得巨大的时候。我猜这是与重复的领域做,但不知道该怎么做。我已经尝试了一些解决方法,比如使用“max”,但是这并不显示每个属性名称。 除用户和访问量之外的所有指标看起来都是夸大的。 SELECT date, MAX(CASE WHEN EXISTS(SE ..
发布时间:2018-05-03 13:41:07 其他开发