amazon-redshift相关内容

Amazon Redshift 中的 WHERE EXISTS 与 IN

我在 Amazon Redshift 中对同一查询的两个版本运行 EXPLAIN: SELECT t1.column从表 1 t1WHERE t1.column IN(SELECT t2.column FROM table2 t2);选择 t1.column从表 1 t1存在的地方(SELECT 1 FROM table2 t2 WHERE t1.column = t2.column ); 他 ..
发布时间:2021-10-27 18:55:39 其他开发

从 Node JS 连接 Redshift 时无法返回任何值

以下代码连接到Redshift数据库,但是console.log中显示响应却返回空响应,为什么? index.js 常量配置 = {用户:'用户',数据库:'数据库',密码:'密码',港口:港口,主机:'主机名',};var 响应 = [];console.log('连接前');export.handler = 函数索引(事件,上下文,回调){var redshiftClient = ne ..

Redshift 内部“身份"的签名功能

在处理旧版 Redshift 数据库时,我发现了自动增量列的默认标识值的不熟悉模式.例如: create table sometable (row_id bigint default "identity"(24078855, 0, '1,1'::text), ... 令人惊讶的是,我无法找到有关该身份函数的任何文档.我唯一能够挖掘的是以下内容: select * from pg_proc p ..
发布时间:2021-10-27 18:55:31 其他开发

从 AWS Lambda 连接到 Redshift

我正在尝试从我的 AWS Lambda 函数连接到我的 Redshift 数据库: con = psycopg2.connect(dbname="my_dbname",主机=“my_url",端口= 5439,用户 =“用户名",密码=“my_password")cur = con.cursor() 但是我无法访问我的数据库,我的函数引发了以下错误: OperationalError:无法连 ..
发布时间:2021-10-27 18:55:28 Python

复制 json 文件时出现 Amazon Redshift 错误 - 无效的 JSONPath 格式:成员不是对象

我正在尝试将 JSON 文件复制到 Redshift,但一直收到错误“无效的 JSONPath 格式:成员不是对象." 问题似乎是因为“["和“]"作为 JSON 文件中的第一个和最后一个字符的存在.中间的所有其他内容都确认为标准 JSON 格式.当我修改文件并删除这两个字符时,表格加载顺利进行. 该文件是直接由开发者提供的,我没有说服他改变格式的影响.所以我唯一的选择是以某种方式告诉 ..
发布时间:2021-10-27 18:55:25 其他开发

使用 Redshift Spectrum 的步骤是什么?

目前我使用 Amazon Redshift 和 Amazon S3 来存储数据.现在我想使用 Spectrum 来提高性能,但对如何正确使用它感到困惑. 如果我使用 SQL 工作台,我可以从它创建外部架构还是我需要从 AWS 控制台或 Athena 创建它.? 我是否需要为特定地区安装 Athena.?是否可以在没有 Athena 的情况下使用频谱.? 现在,如果我尝试通过 SQ ..

Amazon Redshift 如何获取表插入数据的最后日期

我正在尝试获取在表中执行插入的最后日期(在 Amazon Redshift 上),有没有办法使用元数据来执行此操作?这些表不存储任何时间戳列,即使有时间戳列,我们也需要找出 3k 表,因此这是不切实际的,因此元数据方法是我们的​​策略.有什么提示吗? 解决方案 查询的所有插入执行步骤都记录在 STL_INSERT.这个查询应该给你你正在寻找的信息: SELECT sti.schema, ..
发布时间:2021-10-27 18:55:20 其他开发

Redshift:如何列出组中的所有用户

在 Redshift 中获取属于某个组的用户列表似乎是一项相当常见的任务,但我不知道如何解释 grolist 字段中的 BLOB. 我确实从 TeamSQL 的 grolist 字段中获得了“BLOB".不太确定这是否特定于 TeamSQL,但我记得我之前在其他工具中获得了一个 ID 列表 解决方案 这对我有用: select usename from pg_user , pg_g ..
发布时间:2021-10-27 18:55:17 其他开发

为什么 Redshift 不需要物化视图或索引?

在 Redshift FAQ 下的 问:与大多数传统的数据仓库和分析数据库相比,Amazon Redshift 的性能如何? 内容如下: 高级压缩:与基于行的数据存储相比,列式数据存储的压缩率要高得多,因为类似的数据按顺序存储在磁盘上.Amazon Redshift 采用多种压缩技术,并且通常可以实现相对于传统关系数据存储的显着压缩.此外,Amazon Redshift 不需要索 ..
发布时间:2021-10-27 18:55:14 其他开发

如何在 Redshift 中找到访问最多的表?

我们正在将实时数据流式传输到 Redshift.瓶颈是没有可以并发运行的表负载.我们目前每 15 分钟运行超过 1000 次以上的负载. 但我们希望根据用户使用这些表的频率来减少这个数字.请建议我们如何在 Redshift 中获取此信息. 解决方案 这个 view awslabs 开源,可用于查询最常查询的表. 创建视图 创建或替换视图 admin.v_get_table_s ..
发布时间:2021-10-27 18:55:11 其他开发

向 Redshift 查询时出错

我需要计算每个月的用户数量.我已经写了查询. SELECT COUNT(distinct user_id)从 (选择 TO_CHAR((current_date - interval '1 month' * a),'YYYY-MM') 作为 MyMonth来自 generate_series(1,60,1) AS s(a)) 个月LEFT OUTER JOIN database.usersONm ..
发布时间:2021-10-27 18:55:07 其他开发

如何找出在redshift中授予特定组的权限是什么

我使用的是亚马逊 AWS Redshift(8.0.2 版本).我创建了一个群组,授予了以下 2 项权限,并向该群组添加了一个用户. 如果我检查pg_group,我可以看到属于这个组的用户.但我还想查看授予该组的权限. 例如 redshift=#创建组group1;创建组redshift=# 将 public.table_mar19_test2 上的选择授予组 group1;授予re ..
发布时间:2021-10-27 18:55:04 其他开发

Redshift:将 HH:MM:SS 格式的字符串字段转换为秒和向后

我一直在寻找一种简单的方法来将字符串字段从 HH:MM:SS 格式转换为 Redshift 中的秒,因为 TIME_TO_SEC 函数不存在. 我有一个带有这种格式的字符串字段的呼叫中心数据库,HH:MM:SS.例如,如果它是 00:05:10 那么我需要将它转换为 310.我自己想出了以下方法,但必须有更好的方法: (SPLIT_PART("HANDLE TIME", ':', 1) * ..

算例时 *

我在 count case 语句中遇到错误,我希望能得到一些帮助. 我的代码行是 count(case when product = 'classic' then * end) 我得到的错误信息是 错误:“*"处或附近的语法错误第 4 行:...t(case when initial_product_line = 'classic' then * end) as ... 我不 ..
发布时间:2021-06-22 20:44:05 其他开发

删除 Redshift 中的循环

我有一个表,其中包含有关我的数据库中不同表的信息.对于其中的每个表,我希望进行定期日志记录(每天).问题是我已经使用 for 循环完成了此操作,并且在 Redshift 中执行需要花费大量时间.我提供了用于创建表、日志记录表和使用 for 循环的程序的查询.请提出一种替代方法来实现这一点,而无需 for 循环.包含不同表信息的表结构: CREATE TABLE public.info_schem ..
发布时间:2021-06-18 19:37:13 其他开发