amazon-redshift相关内容

我想通过AWS SCT将Oralce DB迁移到Amazon Redshift

概述 我参考本教程.不久之后， AWS SCT冻结. 我的PC有8GB的内存，我尝试有16GB的商务PC.仍然没用. 我尝试了什么 根据此博客，我需要增加JVM的大小.因此，我编辑了SCT的配置文件. [应用程序]app.name = AWS模式转换工具app.version = 1.0.645app.runtime = $ ROOTDIR \ runtimeapp.i ..
发布时间：2021-04-03 19:19:10 数据库

使用Blob存储作为数据源按需对SQL中的数据进行分区

在Amazon Redshift中，有一种方法可以在将S3存储桶用作数据源时创建分区键.链接. 我正在尝试使用SQL On-Demand服务在Azure Synapse中做类似的事情. 目前，我有一个存储帐户，该帐户已按以下方案进行了分区: -销售(文件夹)-2020-10-01(文件夹)-文件1-文件2-2020-10-02(文件夹)-文件3-文件4 要创建视图并提取所有4个文 ..
发布时间：2021-04-03 19:19:02 数据库

创建一个查询以检查表中的任何列是否为空

我对SQL的经验为零，但正在尝试学习如何验证表.我正在尝试查看表中是否有任何列为空. 目前，我一直在使用一个只计算空值数量的脚本.我正在为每一列这样做.有没有更好的脚本可用来检查表中的所有列? 从schema.table中选择count(id)，其中id不为null 如果有100条记录，我希望所有列都返回100，但如果一列为空，它将显示0. 解决方案 您可以使用 sum 和 c ..
发布时间：2021-04-03 19:18:58 其他开发

Redshift:从s3复制命令Json数据

我有以下JSON数据. {"recordid":"69"，"recordTimestamp":1558087302591，"spaceId":"space-cd88557d"，"spaceName":"Kirtipur"，"partnerId":"Kirtipur"，"eventType":“事件位置更新"，"eventlocationupdate":{“事件":{"eventid":"eve ..
发布时间：2021-04-03 19:18:50 其他开发

从S3存储桶流式传输数据以定期进行红移

我在S3中存储了一些数据.我需要定期将数据从S3克隆/复制到Redshift集群.要进行批量复制，我可以使用copy命令从S3复制到redshift. 类似地，有任何简单的方法可以将数据从S3定期复制到Redshift. 谢谢 解决方案 AWS Lambda Redshift Loader 是一个很好的解决方案，只要新文件出现在Amazon上的预配置位置，它就会在Redshif ..
发布时间：2021-04-03 19:18:44 其他开发

使用SQL遍历行

我在Redshift数据库中有一个包含事件数据的表.每行是一个事件.每个事件都有eventid，但现在没有我需要的sessionid.我提取了表的样本(列的子集，只有一个用户ID的事件): time userid eventid sessionstart sessiontop1498639773 101xnmnd1ohi62 504747459 t f1498639777 101xnmnd1o ..
发布时间：2021-04-03 19:18:42 其他开发

如何在Redshift中获取给定架构中的所有过程名称和定义?

使用Redshift时，我想获取在架构中创建的所有过程的名称及其定义. 我知道您可以使用SHOW PROCEDURE命令来获取定义，但这需要具有过程名称. 在SVV_TABLE中，只有关于表和视图的信息，而没有过程的信息. 那么，如果有人知道如何做到这一点? 解决方案 Redshift尚无此系统视图，但是您可以使用tbe PG_PROC表并将其与pg_namespace结 ..
发布时间：2021-04-03 19:18:39 其他开发

如何动态更改SQL查询以添加星期几和所有星期几?

我有一个sql查询，需要动态提供三件事: weekly_ads 应该具有当前星期数.由于本周已经43岁了，所以应该有-'WEEKLY#2020#43％' month 应该是当前月份号，并且 dates_for_week 应该具有从星期日到星期六的当前一周的所有天. all_weeks 应该具有所有星期，但开始的周数必须是后6个星期中的第一个.意味着应该像这样('38'，'39'，'40' ..
发布时间：2021-04-03 19:18:32 其他开发

SQL正则表达式编号后不带字符串

首先让我提到这是一个经过充分讨论的问题，我经历了包括这两个在内的多个线程-最接近的匹配一个正则表达式匹配一个子字符串，该子字符串后面没有某个其他子字符串，但他们确实做到了无法解决我的问题. 我有一些包含容量和数量的字符串，它们具有几种不同的格式-如下所述，例如6 X 200毫升平均6包，每200毫升.在此示例中，我只想提取像6这样的数量 示例 blah 6 X 200ml-6 ..
发布时间：2021-04-03 19:18:29 其他开发

如何通过自定义REST API将数据加载到Redshift中

我是AWS的新手，如果以前曾问过这个问题，请原谅我. 我有一个REST API，该API返回2个参数(名称，电子邮件).我想将此数据加载到Redshift中. 我想到制作一个每2分钟启动一次并调用REST API的Lambda函数.该API可能在这2分钟内最多返回3-4条记录. 因此，在这种情况下，可以只执行插入操作，还是我仍要使用COPY(使用S3)?我只担心性能和无错误(稳健 ..
发布时间：2021-04-03 19:18:26 其他开发

获取一个月的最后一个时间戳

DB-Fiddle CREATE TABLE PaL(id串行主键，event_date DATE);插入PaL(活动日期)价值("2020-01-01")，('2020-02-05')，("2020-03-20")，('2020-04-15')，('2020-05-11')，("2020-06-18")，("2020-07-19")，('2020-12-31'); 预期结果: eve ..
发布时间：2021-04-03 19:18:23 其他开发

过去X周获取数据时，子查询有太多列错误?

我有以下查询，该查询为我提供了上周的数据，如下所示.它使用以下列中的 week_number 列返回上一列的数据: type ， amount 和 total 内部子查询. 选择类型，案件当(类型='PROC1'AND代码='UIT')时450当(类型='PROC1'AND代码='KJH')时900当(类型='PROC2'AND代码='LOP')时8840当(类型='PROC2'AND代码='A ..
发布时间：2021-04-03 19:18:20 其他开发

如何在Redshift过程中写入动态创建的表

我需要在Redshift中编写一个将写入表的过程，但是表名称来自输入字符串.然后，我声明一个将表名放在一起的变量. 创建或替换过程my_schema.data_test(当前为"varchar")语言plpgsqlAS $$声明new_table varchar(50)='new_tab'||'_'||当前的;开始选择"somestring"作为名称到new_table中；犯罪;结尾;$$ ..
发布时间：2021-04-03 19:18:18 其他开发

卸载Redshift:附加

我想从Redshift UNLOAD 数据将表放入已存在的S3文件夹中，其方式类似于在Spark中使用写选项" 我知道ALLOWOVERWRITE选项，但这会删除已经存在的文件夹. Redshift支持吗?如果没有，建议采用哪种方法?(无论如何，我相信这是一个理想的功能...) 解决方案 可以解决此问题的一种解决方案是在文件夹后附加另一个唯一的后缀例如 卸载(“从my_table ..
发布时间：2021-04-03 19:18:15 其他开发

红移表大小

这对我来说更像是一个令人困惑的问题，想了解原因. 我有两个表，几乎完全相同，唯一的区别是一列的数据类型和排序键. 表兆字节行stg_user_event_properties_hist 460948 2378751028stg_user_event_properties_hist_1 246442 2513860837 即使行数几乎相同，大小也接近两倍. 这是表格结构 stg ..
发布时间：2021-04-03 19:18:11 其他开发