amazon-kinesis-firehose相关内容

如何通过自定义REST API将数据加载到Redshift中

我是AWS的新手，如果以前曾问过这个问题，请原谅我. 我有一个REST API，该API返回2个参数(名称，电子邮件).我想将此数据加载到Redshift中. 我想到制作一个每2分钟启动一次并调用REST API的Lambda函数.该API可能在这2分钟内最多返回3-4条记录. 因此，在这种情况下，可以只执行插入操作，还是我仍要使用COPY(使用S3)?我只担心性能和无错误(稳健 ..
发布时间：2021-04-03 19:18:26 其他开发

AWS firehose lambda函数调用给出了错误的输出结构格式

当我使用put操作将数据对象插入aws firhose流时，它可以正常工作.由于我的firehose流上启用了lambda函数.因此，调用了lambda函数但给了我输出结构响应错误: "errorMessage":“无效的输出结构:请检查函数，并确保已处理的记录包含Dropped，Ok或ProcessingFailed的有效结果状态. 所以现在我以这种方式创建了lambda函数，以实现正确的 ..
发布时间：2021-04-03 19:14:12 其他开发

Amazon Kinesis Firehose是否以编程方式支持数据转换?

我有一个用例，其中我必须验证发送给Kinesis firehose的有效负载是否确实已发送. 为此，我想到了Firehose-> Firehose Data Transformation(使用lambda)-> DDB->检查DDB中的有效负载链(有效负载是DDB中的哈希键).我必须以编程的方式一次定义整个链.数据转换与 http://docs.aws相同.amazon.com/fireho ..
发布时间：2020-09-15 20:05:46 其他开发

CLI将数据放入AWS Firehose

AWS Firehose已于今天发布.我正在研究它，并试图弄清楚如何使用AWS CLI将数据放入流中.我有一个简单的JSON有效负载和对应的Redshift表，其中的列映射到JSON属性.我尝试了各种组合，但似乎无法通过cli传递JSON有效负载. 我尝试过的事情: aws firehose put-record --delivery-stream-name test-delivery ..
发布时间：2020-08-23 22:32:36 其他开发

调用多个AWS Lambda函数

我们如何才能一个接一个地调用多个AWS Lambda函数?例如，如果一个AWS Lambda链由8个独立的lambda函数组成并且每个模拟一个1秒的处理事件，然后调用下一个函数在链中. 解决方案 我不建议使用直接invoke启动功能.相反，您应该考虑创建SNS Topic并将Lambda函数订阅该主题.将消息发布到您的主题后，所有功能将同时启动.该解决方案也易于扩展. 在官方文档中查 ..
发布时间：2020-08-23 05:37:49 其他开发

通过有效负载将AWS Kinesis Firehose数据分区到s3

我正在使用AWS-Kinesis-Firehose将数据注入S3，然后与Athena一起使用. 我正在尝试分析来自不同游戏的事件，以避免Athena探索大量数据，我想使用每个游戏的标识符对s3数据进行分区，到目前为止，我没有找到解决方案，因为Firehose从不同游戏接收数据. 有人知道怎么做吗? 谢谢你， 哈维 解决方案 您可以使用 Amazon Kinesis Ana ..
发布时间：2020-08-23 05:11:10 其他开发

在交付给S3之前，可以在Kinesis Firehose中自定义分区吗?

我有一个Firehose流，旨在吸收来自不同来源和不同事件类型的数百万个事件.该流应将所有数据作为原始的\未更改的数据存储到一个S3存储桶中. 我当时正在考虑根据事件消息中嵌入的元数据(例如事件源，事件类型和事件日期)在S3中对该数据进行分区. 但是，Firehose根据记录到达时间遵循其默认分区.是否可以根据我的需要自定义此分区行为? 解决方案 否.您不能基于事件内容进行“分 ..
发布时间：2020-08-23 04:59:41 其他开发

将数据附加到S3对象

假设我有一台想要写入存储在S3存储桶中的特定日志文件的机器. 因此，机器需要具有对该存储桶的写入功能，但是，我不希望它具有覆盖或删除该存储桶中的任何文件(包括我要写入的文件)的能力. 因此，基本上，我希望我的机器只能将数据追加到该日志文件，而不覆盖它或下载它. 有没有一种方法可以配置S3使其正常工作?也许有一些IAM策略可以附加到它上，这样它就可以像我想要的那样工作了? 解 ..
发布时间：2020-08-23 04:17:35 其他开发

AWS Kinesis Firehose到Redshift的记录应如何格式化?

请考虑以下内容: Redshift中一个名为"people"的表，其中包含字段ID，名称和年龄 称为"people"的运动型流水流，配置为写入"people"表，并且"Redshift表列"的值为"id，name，age" 目前尚不清楚如何格式化“数据" blob.这是一个代码示例，其中数据用制表符分隔: let AWS = require('aws-sdk'); let fi ..
发布时间：2020-08-23 03:40:22 其他开发

使用Kinesis Firehose将数据从SQL Server流式传输到Redshift

下面的工具是将数据从SQL Server RDS复制到Redshift的批处理导入方法. 是否有更简化的方法，使用Kinesis Firehose进行从MS SQL Server到Redshift的流式传输数据的第二种方法.我知道我们可以使用Kinesis将AWS Aurora SQL直接移到Redshift中. 解决方案 如果您的目标是将数据从Microsoft SQL Serve ..
发布时间：2020-08-23 03:38:05 其他开发

将数据从Amazon Aurora同步到Redshift

我正在尝试在AWS Aurora和Redshift之间建立同步.实现同步的最佳方法是什么? 可能的同步方式可以是:- 查询表以查找表中的更改(因为我仅执行插入操作，更新无关紧要)，将这些更改导出到S3存储桶中的平面文件，并使用Redshift copy命令插入到Redshift中./p> 使用 python Publisher 和Boto3将更改发布到Kinesis流中然后在Fi ..
发布时间：2020-08-23 03:06:38 其他开发

AWS Firehose换行符

关于在Firehose中添加换行符，我已经阅读了很多类似的问题，但它们都是围绕在源代码中添加换行符的.问题是我无权访问源，并且第三方正在将数据管道传输到我们的Kinesis实例，并且无法将'\ n'添加到源中. 我尝试使用以下代码进行firehose数据转换: 'use strict'; console.log('Loading function'); exports.handler ..
发布时间：2020-08-23 03:06:34 其他开发

在自定义目录名称下将Firehose传输的文件存储在S3中

我们主要通过Kinesis Firehose服务批量传输传入的点击流数据.我们的系统是一个多租户SaaS平台.传入的点击流数据通过Firehose存储S3.默认情况下，所有文件都存储在以给定日期格式命名的目录下.我想通过API为Firehose planel \中的数据文件指定目录路径，以便隔离客户数据. 例如，我希望在S3中为客户A，B和C提供目录结构: / A /2017/10/1 ..
发布时间：2020-08-23 03:03:06 其他开发

使用AWS Kinesis Firehose写入S3存储桶中的特定文件夹

我希望能够基于数据内部的内容将数据发送到kinesis firehose.例如，如果我发送了以下JSON数据: { "name": "John", "id": 345 } 我想基于id过滤数据并将其发送到我的s3存储桶的子文件夹，例如:S3://myS3Bucket/345_2018_03_05. Kinesis Firehose或AWS Lambda完全可行吗? 我现 ..
发布时间：2020-08-23 03:03:03 其他开发