amazon-athena相关内容

需要指导:后端 SQL 逻辑，用于前端用户动态选择字段

我有一个数据集如下: 国家、商品、年份、类型、数量美国，蔬菜，2010，收获，2.44美国，蔬菜，2010，产量，15.8美国，蔬菜，2010，生产，6.48美国，蔬菜，2011，收获，6美国，蔬菜，2011，产量，18美国,蔬菜,2011,生产,3阿根廷，蔬菜，2010，收获，15.2阿根廷，蔬菜，2010，产量，40.5阿根廷，蔬菜，2010，生产，2.6​​6阿根廷，蔬菜，2011，收获， ..
发布时间：2021-11-14 23:32:47 数据库

在 Athena 中重命名列

Athena 表“组织"从 s3 中的镶木地板文件读取数据.我需要将列名从 "cost" 更改为 "fee" .数据文件可以追溯到 2018 年 1 月.如果我只是重命名 Athena 中的列，表将无法在 Parquet 文件中找到新列的数据.请告诉我是否有解决方法. 解决方案 您必须更改架构并指向新列“费用" 但这取决于你的情况. 如果您有两个数据集，在一个数据集中它称为“成 ..
发布时间：2021-11-14 23:16:57 其他开发

基于 AWS Athena 查询增量刷新的原生查询上的 PowerBI 折叠

为了设置增量刷新，我试图弄清楚 AWS Athena 查询是否在 PowerBI 中的本机查询上成功折叠.我创建了参数，在这些参数上过滤了我的日期时间列并尝试了诊断工具(参见 https://www.youtube.com/watch?v=QEFze-LdLqo 从 4:50 开始)，但它继续运行并且不显示任何结果.所以，我正在尝试在高级编辑器中查询的方法(https://www.youtube. ..
发布时间：2021-10-26 18:56:11 其他开发

在 Presto 上计算日期和周末日期

将日、月和年作为表中的整数列，根据这些值计算日期和周末日期. 我尝试了以下 select date_parse(cast (2020 as varchar)||cast (03 as varchar)||cast (02 as varchar),'%Y%m%d') 返回错误消息“INVALID_FUNCTION_ARGUMENT:格式无效:“202032"太短" 解决方案 最简单 ..
发布时间：2021-10-26 18:56:08 其他开发

AWS 雅典娜.不能使用 CSV 清单作为位置

我正在尝试在 Athena 中创建一个外部表，问题是 s3 存储桶在同一文件夹中具有不同的文件，因此我无法将该文件夹用作位置. 我无法修改 s3 文件的路径，但我有一个 CSV 清单，我试图将其用作位置，但 Athena 不允许我这样做. CREATE EXTERNAL TABLE `my_DB`.`my_external_table`(column1 字符串，列 2 字符串)行格式 SE ..
发布时间：2021-10-26 18:56:04 其他开发

当查询包含来自多个数据库的表的连接时，如何在 boto3 中设置 QueryExecutionContext?

我在 python3 中使用 Boto3 包来执行 Athena 查询.来自 Boto3 的文档，我知道我可以指定查询执行上下文，即必须在其下执行查询的数据库名称.使用正确指定的查询执行上下文，我们可以从查询中省略完全限定的表名(db_name.table_name)，而只使用表名. 因此查询 SELECT * FROM db1.tab1 可以转换为 SELECT * FROM tab1 使 ..
发布时间：2021-10-26 18:56:00 其他开发

(InvalidRequestException) 调用 GetQueryResults 时..... 从 Lambda Python 查询 Athena.. 无法读取结果

我一直在尝试从我的 lambda 函数 (Python3.8) 中查询 Athena，但我不断收到相同的错误，尽管我尝试添加 if else 语句来检查执行状态，并且我总是在 aws 控制台上出现相同的错误和本地的 cli 这里是 lambda 函数: 导入json导入 boto3导入时间定义函数(事件，上下文):客户= boto3.client('雅典娜')#设置并执行查询querySt ..
发布时间：2021-10-26 18:55:57 其他开发

AWS Athena 中的特殊字符显示为问号

我从一个 csv 文件在 AWS Athena 中添加了一个表，它使用了特殊字符“æøå".这些在输出中显示为 .csv 文件使用 unicode 进行编码.我也尝试将编码更改为 UTF-8，但没有成功.我已经在 S3 中上传了 csv，然后使用以下 DDL 将表添加到 Athena: 创建外部表`regions_dk`(`postnummer` 字符串 COMMENT '来自反序列化器'，`k ..
发布时间：2021-10-26 18:55:53 其他开发

Presto/Athena 中嵌套日期分区的比较查询

我在 S3 上存储了镶木地板数据，以 Hive 理解的格式进行分区 s3:///year=2019/month=11/day=08/files.pq 表架构还将年、月、日指定为分区字段. 是否可以将查询，特别是日期上的 LIKE, IN, BETWEEN 与这种数据组织进行比较?AWS 雅典娜最佳实践 博客似乎暗示了它的可能(SELECT count(*) FROM lineitem W ..
发布时间：2021-10-26 18:55:47 其他开发

解析在 AWS Athena/AWS Glue 目录中的一列中具有换行符的 csv 文件

我有如下示例数据: id,log,code,sequence100，样品&样品?堆积 - 3 个样品，20,7^M$101，样品- 4/52$样品$CM,21,7^M$102，样品 AT 3PM,22,4^M$ 在第二行 (id=101) 中，日志列有换行符，一行中有 3 行.我在 vim 编辑器中启用了“:set list"选项来显示换行符 ($) 和换行符 (^M) 字符. ..
发布时间：2021-10-26 18:55:41 其他开发

雅典娜日期差异

我正在尝试做我认为是一个简单的日期差异函数，但由于某种原因，我的单位值被读取为一列(“dd")，所以我不断收到一个列无法解析强>错误 我正在使用 AWS Athena 我的代码是这个 SELECT "reservations"."id" "Booking_ID", "reservations"."bookingid" "Booking_Code", "reservations"."p ..
发布时间：2021-10-26 18:55:38 其他开发

带空格的列名 - Athena

我正在尝试使用 Athena 控制台创建一个列名称为 Space 的表. 示例:“Mag Creative"字符串 错误:此字段是必需的.不允许有空格！ 解决方案 你可以试试双引号，像这样: SELECT i."利息费用" FROM "financial-analysis-tool"."income_statement" ..
发布时间：2021-10-26 18:55:35 其他开发

在 Athena Aws 中连接行值

我有 2 个列，可以说是 id 和 values.我想连接按 id col 分组的值.例如.我有ID 值1个1个2个2 乙我需要输出为ID 值1 a, b2 a, b 解决方案 您可以使用 array_agg 后跟 array_join select id, array_join(array_agg(values),',') from table group by 1 array_ag ..
发布时间：2021-10-26 18:55:32 其他开发

AWS Athena:跨账户写入 CTAS 查询结果

我在帐户 A 中有很大的历史数据集.此数据集采用 csv 格式，并按 year/month/day/hour/ 进行分区.我的目标是将此数据转换为镶木地板，并带有额外的标准化步骤和额外的分区级别，例如year/month/day/hour/product/，写回processed/“目录"下的账号A的同一个bucket;.所以“目录"树看起来像 S3_bucket_Account_A数据集|├─ ..
发布时间：2021-10-26 16:24:33 其他开发