bigquery-standard-sql相关内容

如何解密 BigQuery 中的列?

我想使用 BigQuery 函数解密 BigQuery 中的一些加密列. 用于加密它们的机制是 AES 256.使用的向量以 UTF8 编码.生成的数据以 Base64 加密. 我想要做的是使用函数解密在 BigQuery 中传递给我的字段,而无需经历在其他地方解密它们然后将它们集成回 BigQuery 的额外步骤的麻烦.请注意,我在 BigQuery 中可以访问的加密列是字符串类型. ..

从 Bigquery 中的时间戳中提取日期:一种更可取的方法

给 Bigquery 专家的一个简短问题. 这里有两种使用标准SQL从Bigquery的时间戳中提取日期的方法 #standardSQL#1日期(TIMESTAMP_MILLIS(CAST((timestamp) AS INT64)))#2提取(从 TIMESTAMP_MILLIS 开始的日期(时间戳)) 哪个更可取,为什么?谢谢! 解决方案 这真的归结为个人喜好;一个并不优于另 ..
发布时间:2021-12-30 23:20:10 其他开发

BigQuery 检查数组重叠

所以我正在编写一个 BigQuery 查询,基本上只需要能够检查是否有许多字符串中的任何一个作为元素存在于表的一列中,其中关心的列本身包含数组字符串.仅就上下文而言,我将查询作为一个小型自动化 Python 作业的一部分编写,并且使用的是标准 SQL. 我在这里找不到任何可以明确检查数组包含的内容:https://cloud.google.com/bigquery/docs/referenc ..

SQL - 不等左连接 BigQuery

新来的.随着时间的推移,我试图获得每日和每周的活跃用户.他们有 30 天的时间被视为不活跃.我的目标是创建可以按 user_id 拆分的图表,以显示群组、地区、类别等. 我创建了一个日期表来获取该时间段的每一天,并且我有一个简化的订单表,其中包含我需要计算的基本信息. 我正在尝试使用以下 SQL 查询执行左连接以按日期获取状态: WITH daily_use AS (选择__key_ ..
发布时间:2021-12-30 22:57:27 其他开发

查询失败错误:查询执行期间资源超出:无法在分配的内存中执行查询

我使用的是标准 SQL.即使它是一个基本查询,它仍然会抛出错误.任何建议请 SELECT完整的访客 ID,CONCAT(CAST(fullVisitorId AS string),CAST(visitId AS string)) AS 会话,日期,访问开始时间,点击时间,点击数.page.pagepath从`XXXXXXXXXXX.ga_sessions_*`,UNNEST(hits) AS 命 ..
发布时间:2021-12-30 22:54:11 其他开发

在 BigQuery 中滚动 90 天活跃用户,提高性能(DAU/MAU/WAU)

我正在尝试获取特定日期的唯一事件数量,回溯 90/30/7 天.我已经使用下面的查询处理了有限数量的行,但是对于大型数据集,我从聚合字符串中得到内存错误,该错误变得很大. 我正在寻找一种更有效的方法来实现相同的结果. 表格看起来像这样: +---+------------+------------+||日期 |用户名 |+---+------------+------------+| ..
发布时间:2021-12-30 22:39:27 其他开发

每个ID返回5个最近的旅行

我有一张表,上面列出了旅行次数和station_id,我想返回每个ID最近进行的5次旅行(该表的示例图片如下) 我在下面进行的查询汇总了车站ID和最近的行程,但是我很难返回5个最近的行程 SELECT start_station_id,MAX(开始时间)来自`bpd.shop.trips`按start_station_id,start_time分组 提示: https://imgur ..
发布时间:2021-05-12 18:41:17 其他开发

在Bigquery中计算大量向量之间的成对余弦相似度

我有一个表 id_vectors ,其中包含 id 及其对应的 coordinates .每个 coordinates 是一个重复字段,其中包含512个元素. 我正在寻找所有这些向量之间的成对余弦相似度,例如如果我有三个 id 1,2和3,那么我正在寻找一个表,它们之间有余弦相似性(基于使用512坐标的计算),如下所示: id1 id2相似性1 2 0.51 3 0.12 3 0.99 ..

Bigquery中的数组对之间的余弦相似度

我创建了一个表,该表具有一对ID,并分别对每个ID进行协调,以便我可以计算它们之间的成对余弦相似度. 该表如下所示 坐标的维数当前为128,但是可以变化.但是,一对ID的数字尺寸在同一张表中始终是相同的. coord1和coord2是具有浮点值的重复字段(数组). 有没有一种方法可以计算它们之间的余弦相似度? 我的预期输出将包含三列,分别为id1,id2和cosine_si ..
发布时间:2020-11-17 07:17:18 其他开发

如何在标准SQL中将纪元时间戳转换为日期

环顾四周时,我没有找到任何简单的答案,所以我想把它放在这里,以防有人遇到与我相同的问题,而这本来应该是个小问题. 我当时在Google的BigQuery中使用ReDash分析,并已打开作为示例... "1494865480000"至"2017-05-15" 困难在于转换和转换过于严格,而且似乎没有足够的方法对其进行解析.请在下面查看我的答案! (尽管让我知道某些SQL老师是否知道一种更 ..
发布时间:2020-11-17 06:56:02 其他开发