如何将数据写入 Redshift，这是在 Python 中创建的数据帧的结果?
我在 Python 中有一个数据框.我可以将此数据作为新表写入 Redshift 吗?我已成功创建到 Redshift 的数据库连接，并且能够执行简单的 sql 查询.现在我需要给它写一个数据框. 解决方案 您可以使用 to_sql 将数据推送到 Redshift 数据库.我已经能够通过 SQLAlchemy 引擎使用与我的数据库的连接来做到这一点.只要确保在您的 to_sql 调用中设置
..
amazon-redshift相关内容
更改 Amazon Redshift 中的列数据类型
如何更改 Amazon Redshift 数据库中的列数据类型? 我无法在 Redshift 中更改列数据类型；有没有办法修改 Amazon Redshift 中的数据类型? 解决方案 如 ALTER TABLE 文档，您可以使用 更改VARCHAR列的长度 ALTER TABLE table_name{ALTER COLUMN column_name TYPE new_data
..
如何在 Redshift 中创建日期表?
tl;dr:我想在 Redshift 中生成一个日期表，以便更容易生成报告.最好不需要红移中已有的大表，需要上传 csv 文件. 长版:我正在编写一份报告，我必须对一周中每天创建的新项目进行平均.日期范围可能跨越数月或更长时间，因此可能有 5 个星期一但只有 4 个星期日，这会使计算变得有点棘手.此外，我不能保证每天有单个项目的实例，尤其是当用户开始切片数据时.哪个，这是绊倒 BI 工具.
..
Amazon Redshift - 横向列别名参考
基于 Amazon Redshift 宣布支持横向列别名引用: 对横向列别名引用的支持使您无需在 SELECT 列表中重复相同的表达式即可编写查询.例如，您可以定义别名 'probability' 并在同一个 select 语句中使用它: 选择点击次数/展示次数作为概率，回合(100 * 概率，1)作为原始数据的百分比； 基本相同: 选择 1 个 AS 列,col + 1 AS
..
如何在 Amazon Redshift 上执行预定的 SQL 脚本?
我在 Redshift 中每小时自动执行一系列 ~10 个查询(可能报告成功/失败). 大多数查询都是对我的表进行聚合. 我尝试将 AWS Lambda 与 CloudWatch Events 结合使用，但 Lambda 函数最多只能存活 5 分钟，而我的查询最多需要 25 分钟. 解决方案 AWS 不提供简单的分布式 cron 样式服务有点奇怪.它对很多事情都有用.有 SWF
..
S3 ->Redshift 无法处理 UTF8
我们在 S3 中有一个文件，它通过 COPY 命令加载到 Redshift.导入失败，因为 VARCHAR(20) 值包含一个 Ä 在复制命令期间被翻译成 .. 并且现在太长为 20 个字符. 我已经验证了 S3 中的数据是正确的，但是 COPY 命令在导入过程中无法识别 UTF-8 字符.有没有人为此找到解决方案? 解决方案 tl;dr varchar 列的字节长度只需要更大
..
AWS redshift 中的序列号生成函数
redshift 中是否有序列号生成功能?或者一个接受值组合并给出数字散列键的函数? 解决方案 目前没有序列的概念(如在 Oracle 中看到的). 您有几个选择: 数字表 RANK() 或 ROW_NUMBER() 窗口函数在整个集合上.请注意，如果您有一个多节点集群，这可能会对性能产生一些负面影响. 定义为 IDENTITY(种子，步骤)的列.请注意，IDENTITY
..
使用 python 和 psycopg2 将数据从 S3 复制到 AWS redshift
我在执行复制命令以将数据从 S3 加载到 Amazon 的 Redshift 时遇到问题. 我有以下复制命令: 从's3:///moves_data/2013-03-24/18/moves'复制移动凭证 'aws_access_key_id=;aws_secret_access_key='删除引号分隔符','; 当我使用 SQL Workbench/j 执行此命令时，一切都按预期工作，但是当
..
JOIN (SELECT ... ) ue ON 1=1?
我正在 Redshift 中阅读 SQL 查询，但无法理解最后一部分: ...LEFT JOIN (SELECT MIN(modified) AS first_modified FROM user) ue开 1=1 ON 1=1 在这里是什么意思? 解决方案 它只是做一个交叉连接，它选择第一个表中的所有行和第二个表中的所有行并显示为笛卡尔积，即所有可能性. JOIN (LEFT,
..
AWS Kinesis Firehose 未在 Redshift 中插入数据
我尝试使用 Kinesis Firehose 在 Redshift 表中推送数据. firehose 流正在工作并将数据放入 S3. 但在 Redshift 中没有任何内容到达目标表. 在指标中，DeliveryToRedshift Success 为 0(DeliveryToRedshift Records 为空) 加载日志(红移 Web 控制台)和 STL_LOAD_ERR
..
在 Redshift/Postgres 中，如何计算满足条件的行数?
我正在尝试编写一个查询，只计算满足条件的行数. 例如，在 MySQL 中我会这样写: SELECT计数(如果(等级 但是，当我尝试在 Redshift 上执行此操作时，它返回以下错误: 错误:函数 if(boolean, integer, "unknown") 不存在 提示:没有函数匹配给定的名称和参数类型.您可能需要添加显式类型转换. 我检查了条件语句的文档，我发现
..
如何在postgres中获得一个月的最后一天?
如何在postgres中找到本月的最后一天?我有一个日期列以格式(YYYYMMDD)存储为数字(18)我正在尝试使用 使其日期 to_date("act_dt",'YYYYMMDD') AS "act date" 然后找到这个日期的最后一天:像这样: (select (date_trunc('MONTH',to_date("act_dt",'YYYYMMDD')) + INTERVAL '
..
在 RedShift 中声明一个变量
SQL Server 能够声明一个变量，然后在查询中调用该变量，如下所示: DECLARE @StartDate 日期；SET @StartDate = '2015-01-01';选择 *来自订单WHERE OrderDate >= @StartDate; 此功能在亚马逊的 RedShift 中有效吗?从 文档 看来，DECLARE 是单独使用的对于游标.SET 看起来是我正在寻找的函数，但是
..
使用 R 通过 SSL 连接到 Redshift
我目前正在尝试连接到 R 中的 redshift 数据库.这需要通过 SSL 连接来完成，但我似乎找不到指定要在 dbConnect 中使用的证书文件路径的选项.令人惊讶的是，Google 并没有提供足够的帮助. 通过 R 建立到 redshift 的 postgres SSL 连接真的那么困难，还是我只是错过了一些基本的东西? 解决方案 只需: host = 'redshift-
..
如何查看 Redshift 上的赠款
我想查看关于红移的赠款. 我发现 postgres 的这个视图: 创建或替换视图 view_all_grants AS选择use.usename 作为主题，nsp.nspname 作为命名空间，c.relname 作为项目，c.relkind 作为类型，use2.usename 作为所有者，c.relacl，(use2.usename != use.usename and c.relacl
..
在单独的行上返回 Redshift JSON 数组的元素
我有一个如下所示的 Redshift 表: id |元数据---------------------------------------------------------------------------1 |[{"pet":"dog"},{"country":"uk"}]2 |[{“宠物猫"}]3 |[]4 |[{“国家":“德国"}，{“教育":“大师"}，{“国家":“比利时"}]
..
generate_series() 方法在 Redshift 中失败
当我运行 SQL 查询时: 选择 generate_series(0,g)from ( select date(date1) - date(date2) as g from mytable ; 它返回一个错误: 信息:不支持函数“generate_series(integer,integer)".错误:不支持指定的类型或函数(每个 INFO 消息一个)在 Redshift 表上. 但是
..
在 redshift 中使用 sql 函数 generate_series()
我想在 redshift 中使用 generate series 功能，但没有成功. redshift 文档说它不受支持.以下代码确实有效: 选择 *来自 generate_series(1,10,1) 输出: 123...10 我想对日期做同样的事情.我尝试了许多变体，包括: 选择 *从 generate_series(date('2008-10-01'),date('2008-
..
使用带有 Lambda 的 psycopg2 更新 Redshift (Python)
我正在尝试使用 python 从 Lambda 函数更新 Redshift.为此，我尝试组合 2 个代码片段.当我单独运行它们时，这两个片段都可以正常工作. 从 PyDev 为 Eclipse 更新 Redshift 导入psycopg2conn_string = "dbname='name' port='0000' user='name' password='pwd' host='url
..
在 AWS CloudFormation 中定义表、视图和索引
在 AWS CloudFormation 中，您可以使用 JSON/YAML 模板定义一系列服务.特别是，我正在使用 Redshift 和 Aurora 集群. 模板允许您定义集群的管理属性，但似乎没有明确的方法来定义集群中的表、视图和索引，以便当我推送堆栈更新时，数据库会自动更新模式根据需要，类似于管理更新到完整堆栈的方式. 有没有办法在 Cloud Formation 中管理 Re
..