amazon-athena相关内容

雅典娜中的st_contains

以下代码应返回true,但返回false.我在谷歌地图上测试过,点位于多边形中.我不确定这里是什么问题.我在雅典娜上运行这段代码 select st_contains (st_polygon( 'POLYGON((54.8163815 24.9474831), (54.9310513 24.8914383), (55.0514856 24.8349286), (55.1170345 24. ..
发布时间:2020-08-22 21:56:01 其他开发

雅典娜查询数组列

在查询雅典娜的数组列时,我需要您的帮助.目前,我有一个如下所述的表格: 1 2020-05-06 01:13:48 dv1 [{addedtitle=apple, addedvalue=null, keytitle=Increase apple, key=p9, recvalue=0.899999999, unit=lbs, isbalanced=null}, {addedtitle=O ..
发布时间:2020-08-22 21:55:59 其他开发

使用Athena查询S3

我有一个设置,其中Kinesis Firehose接收数据,AWS Lambda执行数据转换并将传入的数据放入S3存储桶中. S3结构按年/月/日/小时/小时.messages.json进行组织,因此我要查询的所有实际json文件都处于“小时"级别,并且所有年,月,日目录仅包含子目录. 我的问题是我需要运行查询以获取给定日期的所有数据.有没有一种简单的方法可以在'day'目录级别进行查询并返回其 ..
发布时间:2020-08-22 21:55:56 其他开发

AWS Glue Crawler无法解析大文件(分类为UNKNOWN)

我一直在尝试使用AWS Glue的搜寻器来尝试获取特定json文件的列和其他功能. 我已经通过将json文件转换为UTF-8并使用boto3将其移至s3容器并从搜寻器访问该容器的方式在本地解析了该文件. 我用自定义分类器$ [*]创建了一个json分类器,并使用常规设置创建了一个搜寻器. 当我使用相对较小(小于50 Kb)的文件执行此操作时,搜寻器会正确识别列以及主json中内部 ..

得到错误“请求中包括的安全令牌无效".调用StartQueryExecution操作时出现UnrecognizedClientException

使用雅典娜凭证以redash设置数据源连接时出现错误. 我在雅典娜有一个有效的访问权限,在这里我可以运行查询并从S3中获取日志.现在,我想将雅典娜与redash集成在一起,所以我收到了错误消息“调用StartQueryExecution操作时发生错误(UnrecognizedClientException):请求中包含的安全令牌无效." 如果我在这里想念什么,也请让我知道.我在雅典娜中 ..
发布时间:2020-08-22 21:55:48 其他开发

无法在Amazon Athena中创建表

我尝试在Athena中为s3中的嵌套json文件创建一个表,但收到错误: 第1行:8:输入“创建外部"时没有可行的替代方法(服务:amazonathena;状态代码:400;错误代码:invalidrequestexception;请求ID:dcea57c7-b801-41a4-8edb-e42eb1608fea) 表名和字段似乎还可以,并且还附有我s3源中的示例json.参考了雅典娜 ..
发布时间:2020-08-22 21:54:43 其他开发

再次运行查询时,AWS Athena查询以错误的格式返回结果

我第一次运行查询时,它返回了两行带有列名的记录.我编辑了表并添加了skip.header.line.count-1并重新运行(第一次),但它以双引号逗号返回了相同的结果.然后再次运行(第二次),这改变了一切. 首次查询运行输出: https://i.stack.imgur.com/k6T2O .png 第二次查询运行输出: https://i.stack.imgur.com/6Cxrf ..
发布时间:2020-08-22 21:54:24 其他开发

如何使用Cloudformation更新Athena输出位置

有人可以帮我写一个云形成脚本来更新Athena主要工作组的输出位置吗?当我运行以下代码时,收到错误消息“提供了无效的请求:无法创建主工作组(服务:雅典娜,状态代码:400,请求ID:9945209c-6999-4e8b-bd3d-a3af13b4ac4f​​)" Resources: MyAthenaWorkGroup: Type: AWS::Athena::WorkGroup ..

AWS Athena对于api来说太慢了?

计划是从aws数据交换中获取数据,将其移至s3存储桶,然后由aws athena查询以获取数据api.一切正常,只是感觉有点慢. 无论数据集还是查询,我在雅典娜的响应时间都无法低于2秒.对于API来说,这很多.我检查了最佳做法,但似乎也超过了2秒. 所以我的问题是: 2秒是雅典娜的最短响应时间吗? 如果是这样,那么我必须切换到postgres. 解决方案 Athena确实 ..
发布时间:2020-08-22 21:53:06 其他开发

使用其他帐户从Python Lambda访问AWS Athena

我有两个帐户A和B。S3存储桶和Athena View在帐户A中,而Lambda在帐户B中。我想通过我的Lambda呼叫Athena。我还允许在S3存储桶策略中使用Lambda执行角色。当我尝试从Lambda调用数据库时,它以'Status'的形式给我错误:{'State':'FAILED','StateChangeReason':'SYNTAX_ERROR:第1:15行:模式db_name不存在 ..
发布时间:2020-06-03 23:09:54 Python

AWS中最简单的工具即可实现非常简单的ETL(转换)?

S3中有大量文件,总计数十GB。我们需要将它们转换为CSV格式,当前文件中的分隔符不是逗号。通常,我会在使用sed的服务器上执行此操作,但我不想将文件传输到服务器,我想直接从S3中读取,逐行转换为CSV,然后将结果写回到新的S3文件中 胶水似乎能够做到这一点,但我觉得这样简单的任务所需要的学习曲线和设置实在太大了。 是否没有简单的方法可以执行诸如EMR或其他一些AWS工具之类的简单任务 ..
发布时间:2020-06-03 23:09:52 其他开发

雅典娜普雷斯托列出空表

我想列出数据库Athena中的所有空表。 我尝试过: 从information_schema.tables 中选择table_schema,table_name,其中table_schema ='database' 但是像这样,我只列出带有数据库名的表名。 感谢您的帮助。 解决方案 我认为在单个查询中是不可能的。您的查询为您提供了一个表列表。有了这一点,我认 ..
发布时间:2020-06-03 23:09:48 其他开发

为什么需要使用JavaScript SDK对凭证进行硬编码才能连接到AWS?

我问了其他问题这使我相信,默认情况下,JavaScript AWS开发工具包无需执行任何操作即可在您环境中的许多位置查找凭证。它检查的位置顺序在此处列出: https://docs.aws.amazon.com/sdk-for-javascript/v2/developer-guide/setting-credentials-node.html 我有一些可以连接到AWS Athena的工作代 ..
发布时间:2020-06-03 23:09:46 前端开发