amazon-sqs相关内容

SQS 触发的 AWS Lambda 增加 SQS 请求计数

我有一个由 SQS 触发的 AWS Lambda 函数.此函数每天触发大约 100 次,但对 SQS 队列的请求计数每天大约为 20.000 次.我不明白为什么向 SQS 提出的请求数量太高.我的期望是向 SQS 发出的请求数量应该与 Lambda 调用相同. 我的帐户中只有一个 Lambda 函数和一个 SQS 队列. 可以和SQS队列的轮询有关吗?我试图从队列配置中更改 SQS 的 ..
发布时间:2021-11-27 11:12:22 其他开发

AWS:多个实例读取 SQS

简单的问题:我想在 Amazon 上运行一个自动缩放组,它会启动多个实例来处理来自 SQS 队列的消息.但是我怎么知道这些实例没有处理相同的消息呢? 我可以在处理消息时从队列中删除它.但是如果它还没有被删除并且仍在被一个实例处理,我认为另一个实例可以下载相同的消息并对其进行处理. 解决方案 除了 SQS 多次错误地传递相同消息的可能性很小(您仍然需要考虑,即使不太可能),我怀疑您的问 ..
发布时间:2021-11-27 11:12:13 其他开发

SQS - 交货延迟 30 分钟

从 SQS 的文档中,我们可以配置一条消息向其消费者隐藏的最大时间延迟是 15 分钟 - http://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-delay-queues.html 假设如果我需要将消息隐藏一天,模式是什么?例如.我想模仿一个每天的 cron 来做一些动作. 谢谢 ..
发布时间:2021-11-27 11:11:57 其他开发

Amazon SQS 长轮询未返回所有消息

我需要在 1 次读取中读取我的 Amazon SQS 队列中的所有消息,然后根据创建的时间戳对其进行排序并对其进行业务逻辑. 为了确保检查所有 SQS 主机的消息,我启用了长轮询.我这样做的方法是将队列的默认等待时间设置为 10 秒.(任何大于 0 的值都将启用长轮询). 然而,当我试图读取队列时,它仍然没有给我所有的消息,我不得不多次读取才能获得所有的消息.我什至通过每个接收请求的代 ..
发布时间:2021-11-27 11:11:47 Java开发

在 SQS 中查找某些消息

我知道 SQS 不是为此而构建的,但我很好奇是否可以在队列中找到满足某些条件的消息? 我可以循环拉取消息,在消息正文中搜索某种模式(甚至不需要反序列化它们),并过滤我需要的消息.但是,有可能以无限循环结束——当我到达队列末尾时,我阅读的第一条消息将返回队列...... 扩展消息的可见性是可能的,但我如何确切知道扫描整个队列需要多长时间,以及我应该扩展可见性多长时间?如果我在那里实际上有 ..
发布时间:2021-11-27 11:11:40 其他开发

boto3 会话和 aws_session_token 管理

我正在开发处理 AWS SQS 队列的 Python 软件.它使用boto3,主要是boto3.session.Session. 我在这里看到我们可以通过aws_session_token 到 Session 构造函数. 在 Amazon 之外运行我的代码时,我需要定期刷新此 aws_session_token,因为它仅在一个小时内有效.所以我需要自己重新实例化一个 boto3.Ses ..
发布时间:2021-11-27 11:11:30 其他开发

Elastic Beanstalk Worker 的 SQS 守护进程在 1 分钟后获得 504 网关超时

我有一个 Elastic Beanstalk 工作器,一次只能运行一项任务,并且需要一些时间(从几分钟到希望不到 30 分钟),所以我将我的任务排队SQS. 在我的工作器配置中,我有: HTTP 连接数:1可见性超时:3600错误可见性超时:300(关于“高级")不活动超时:1800 问题是似乎有 1 分钟超时(在 nginx 上?)覆盖了“不活动超时",返回 504(网关超时). ..

在 AWS 中扩展聊天的想法?

我正在尝试提出在 AWS 中扩展聊天服务的最佳解决方案.我想出了几个潜在的解决方案: Redis Pub/Sub - 当用户与服务器建立连接时,该服务器订阅了该用户的 ID.当有人向该用户发送消息时,服务器将使用该用户的 id 执行发布到频道.用户连接的服务器将接收消息并将其推送到适当的客户端. SQS - 我想为每个用户创建一个队列.用户连接到的服务器将轮询(或使用 SQS 长轮询) ..

将 Amazon SQS 与多个使用者一起使用

我有一个基于服务的应用程序,它使用具有多个队列和多个使用者的 Amazon SQS.我这样做是为了我可以实现基于事件的架构并解耦所有服务,其中不同的服务对其他系统的状态变化做出反应.例如: 注册服务: 当新用户注册时发出事件“registration-new". 用户服务: 在用户更新时发出事件“user-updated". 搜索服务: 从队列“registration-n ..

AWS SQS 异步队列模式(请求/响应)

我正在寻求有关产品的架构设计决策的帮助. 我们有多个生产者(由 API 网关调用 Lambda 启动)将消息放在 SQS 队列(请求队列)上.可以有多个同时调用,因此会有多个并行运行的 Lambda 实例. 然后我们有消费者(假设有 20 个 EC2 实例),他们在 SQS 上进行长轮询以获取消息以处理它们.它们每个需要大约 30-45 秒来处理一条消息. 理想情况下,我希望将响 ..
发布时间:2021-11-27 11:10:48 其他开发

从 SQS 检索多条消息

我在 SQS 中有多个消息.下面的代码总是只返回一个,即使有几十个可见(不在飞行中).setMaxNumberOfMessages 我以为可以同时使用多个..我误解了吗? CreateQueueRequest createQueueRequest = new CreateQueueRequest().withQueueName(queueName);String queueUrl = sqs. ..
发布时间:2021-11-27 11:10:39 Java开发

芹菜与亚马逊 SQS

我想使用 Amazon SQS 作为 芹菜.Celery 依赖于 Kombu 的 SQS 传输实现.但是没有足够的文档来使用它,所以我找不到如何在 Celery 上配置 SQS.有没有人在 Celery 上成功配置过 SQS? 解决方案 我多次遇到这个问题,但仍然不完全确定如何设置 Celery 以与 SQS 一起工作.事实证明,使用最新版本的 Kombu 和 Celery 很容易.作为另 ..
发布时间:2021-11-27 11:10:30 其他开发

实现“仅一次交付"的良好做法是什么?Amazon SQS 的行为?

根据文档> 问:每条消息我会收到多少次? 亚马逊 SQS 是旨在提供“至少一次"传送其内的所有消息队列.虽然大多数时候每条消息都会被传递到您的应用程序恰好一次,您应该设计您的系统,以便多次处理一条消息不会产生任何错误或不一致. 有什么好的做法可以实现一次性交付吗? 我正在考虑使用 DynamoDB “条件写入" 作为分布式锁定机制,但...有更好的主意吗? 对此主题的一些 ..
发布时间:2021-11-27 11:10:20 其他开发

在 SQS 队列中使用多个消费者

我知道可以使用多个线程来使用 SQS 队列.我想保证每条消息都会被消费一次.我知道可以更改消息的可见性超时,例如,等于我的处理时间.如果我的进程花费的时间超过可见性超时(例如连接速度较慢),则其他线程可以使用相同的消息. 保证消息被处理一次的最佳方法是什么? 解决方案 保证消息被处理一次的最佳方法是什么? 您要求的是保证 - 您不会得到保证.您可以将邮件被多次处理的概率降低 ..
发布时间:2021-11-27 11:10:12 其他开发

SNS 到 Lambda 与 SNS 到 SQS 到 Lambda

如果有人可以帮助解释,我正在尝试了解我的工作流程中是否需要 SQS.在我的应用程序中,当执行操作时,它会将信息提交给调用 Lambda 进行一些处理的 SNS 主题.这很好用. 当我在网上做研究时,似乎人们也在这个堆栈中使用 SQS,SNS 将信息放在 SQS 上,然后 SQS 会调用 Lambda. 我想我想了解的是在这方面对 SQS 的需求.这增加了什么价值?换句话说,直接从 SN ..
发布时间:2021-11-27 11:09:45 其他开发

亚马逊 SNS ->SQS 消息体

我正在从 SNS 主题向 SQS 发送消息.当我在客户端上检查 SQS 消息的正文时,整个消息元数据都在 SQS 正文中发送. I.E.如果我从主题发送消息“Hello World",我的客户端将收到: BenFlowers {"类型" : "通知","MessageId" : "84102bd5-8890-4ed5-aeba-c15fafc926dc","TopicArn": "arn ..
发布时间:2021-11-27 11:07:43 Java开发