将数据从 Dynamodb 发送到 Amazon Elasticsearch 的最佳方式 [英] Best way to send data from Dynamodb to Amazon Elasticsearch

问题描述

我想知道将数据从 dynamoDB 发送到 elasticsearch 的最佳方式是什么.

I was wondering which is the best way to send data from dynamoDB to elasticsearch.

1. AWS SDK js.https://github.com/Stockflare/lambda-dynamo-to-elasticsearch/blob/master/index.js

DynamoDB logstash 插件:https://github.com/awslabs/logstash-输入-dynamodb

DynamoDB logstash plugin: https://github.com/awslabs/logstash-input-dynamodb

推荐答案

关注此 AWS 博客.他们详细描述了它是如何以及应该如何完成的.

Follow this AWS blog. They describe in detail how it is and should be done.

https://aws.amazon.com/blogs/compute/indexing-amazon-dynamodb-content-with-amazon-elasticsearch-service-using-aws-lambda/

我假设您使用 AWS elasticsearch 托管服务.

I'm assuming you use AWS elasticsearch managed service.

1. 您应该使用 Dynamodb 流来监听更改(其中，您将有新项目添加到 dynamodb 的事件).
2. 创建新的 Kinesis Firehose 流，该流设置为将所有记录输出到您的 elasticsearch 实例.
3. 创建一个由 DynamoDB 流中的新项目的事件触发的新 lambda.
4. lambda 将获取唯一的 DynamoDB 记录 ID，以便您获取它、获取记录负载并将其摄取到 Firehose 流端点.
5. 根据您的 DynamoDB 记录大小，您可以启用将记录的有效负载包含在流项目中的选项，因此您无需从表中获取它并使用您设置的预置容量.

这篇关于将数据从 Dynamodb 发送到 Amazon Elasticsearch 的最佳方式的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！