amazon-sqs相关内容

工作程序启动时出现 Elastic Beanstalk SQSD 错误

我已经部署了一个 nodejs worker.但是,每当我尝试启动它时,它都会变红并显示此错误:错误实例:i-6eef007a 模块:AWSEBAutoScalingGroup ConfigSet:null 命令在实例上失败.返回码:1 输出:构建期间发生错误:命令 01-start-sqsd 失败. 我不知道是否相关,有时我会在屏幕上看到这个错误:IamInstanceProfile:环境 ..

SQS 重复消息处理

我正在使用 Amazons SQS 和处理作业的单独机器(工作人员)运行队列进程.我还使用 supervisor 来确保 queue:listen 始终在工作机器上运行,但是当我定义 numprocs=8 (就像laravel网站上的例子一样)工作被执行不止一次,因此电子邮件被发送了几次等等. 知道如何确保即使我运行多个工作进程和机器也只执行一次作业吗? 解决方案 在 SQS 中,一 ..
发布时间:2021-11-27 11:15:16 其他开发

SQS 消息延迟未按预期工作

我正在尝试延迟发送单个 SQS 消息.使用 https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-send-message-with-timer.html 来测试消息延迟,我没​​有看到任何延迟. 如果我在队列上设置延迟,则该延迟会得到尊重,但不适用于单个消息.我正在执行以下操作(全部来自 ..
发布时间:2021-11-27 11:15:06 其他开发

如何绕过 Linux “Too Many Arguments"限制

我必须将 256Kb 的文本作为参数传递给“aws sqs"命令,但在命令行中遇到了大约 140Kb 的限制.这已经在很多地方讨论过,它在 2.6.23 内核的 Linux 内核中得到了解决. 但无法让它工作.我正在使用 3.14.48-33.39.amzn1.x86_64 这是一个简单的测试示例: #!/bin/bash大小=1000而 [ $SIZE -lt 300000 ]做回 ..
发布时间:2021-11-27 11:14:47 服务器开发

AWS SQS Boto3 手动将消息发送到死信

所以我正在构建一个使用 SQS 的小型应用程序.我有一个简单的处理程序进程,用于确定给定的消息是否被视为已处理、标记为重试(重新排队)或无法处理(应发送至死信). 然而,根据文档,真正向 DL 发送消息的唯一方法是使用重新驱动策略,该策略在接收到的消息数量上运行.由于我的应用程序的性质,如果我的进程没有准备好处理给定的消息,我可以进行多次有效的重试,但有时我可能想要对刚刚收到的消息进行 DL ..
发布时间:2021-11-27 11:14:36 其他开发

Amazon SQS 如何控制重试次数

我正在配置一个 beanstalk worker 环境处理周期性任务 当请求的 URL 没有响应状态为 200 时,Elastic Beanstalk 会将任务再次放入队列中. 如何配置数量或重试? 我知道解释隐藏在 ErrorVisibilityTimeout、InactivityTimeout、Dead Letter Queues 后面的某个地方……但这些概念仍然没有变绿在我 ..

将消息发布回 SQS

我有一些 EC2 服务器从 SQS 队列中提取工作.偶尔,他们会遇到无法完成工作的情况.我有过程电子邮件我的条件.就目前而言,消息保持“飞行中"直到超时.我希望该进程在发送电子邮件后立即将其释放回队列.但是,我不确定如何实现这一点.有办法吗?如果是这样,您能否将我指向电话或发布代码片段. 我使用的是 Python 2.7.3 和 Boto 2.5.2. 解决方案 如果您已经阅读了一条 ..
发布时间:2021-11-27 11:14:20 Python

如何确定字符串的大小并对其进行压缩

我目前正在 C# 中开发一个使用 Amazon SQS 的应用程序消息的大小限制为 8kb. 我有一个类似的方法: public void QueueMessage(字符串消息) 在这个方法中,我想首先压缩消息(大多数消息是作为json传入的,所以已经相当小了) 如果压缩后的字符串仍然大于8kb,我会将其存储在S3中. 我的问题是: 如何轻松测试字符串的大小,以及压缩它 ..
发布时间:2021-11-27 11:14:12 C#/.NET

如何配置自定义 Spring Cloud AWS SimpleMessageListenerContainerFactory 以便它继续与 @SqsListener 一起工作

我正在尝试让 SpringCloud AWS SQS 与自定义 SimpleMessageListenerContainerFactory 一起工作,以便我可以设置超时和最大消息数.如果没有使用 @SqsListener 注释的自定义 SimpleMessageListenerContainerFactory 方法,可以很好地拾取 SQS 中的消息.但是当我尝试配置自定义 SimpleMessag ..
发布时间:2021-11-27 11:14:03 其他开发

Laravel - 作业在一台服务器上分派,在另一台服务器上处理

我正在研究 Laravel 应用程序的日志记录方面,amd 计划将数据发送到 SQS 以便稍后检索.但是,我想将作业从我的生产服务器分派到 AWS 队列,但随后有一个队列在单独的日志服务器上工作,该服务器侦听队列. 我了解如何设置 Queue worker 以监听 Queue,但是,Laravel 的 Jobs 是自我处理的.因此,当 Logging 服务器上的 worker 从 SQS 检 ..
发布时间:2021-11-27 11:13:53 其他开发

最大 AWS SQS 队列

有谁知道我可以创建的最大队列数量是多少?我在 AWS 上环顾四周,似乎找不到答案.在这个项目结束时,我可能有将近 50 个不同的队列,我想确保我没有跑出跑道...... 解决方案 队列数和队列中的消息数没有限制. http://aws.amazon.com/sqs/faqs/#How_big_can_Amazon_SQS_queues_be 您可以创建的队列数量没有限制: ..
发布时间:2021-11-27 11:13:42 其他开发

AWS SQS 消息保留期

根据 文档 最长 SQS 消息保留期 (MessageRetentionPeriod) 为 14 天.过了那个时间,消息就会从队列中删除. SQS 有什么办法可以在保留期到期后不丢失这些消息?比如不清楚或者可以用Dead Letter Queue来做这个吗? 解决方案 14 天是您可以保留消息的最大限制.14 天后,您可以将该消息移至 S3 Bucket 进行备份.您还可以使用 DL ..
发布时间:2021-11-27 11:13:34 其他开发

无法在 SQS FIFO 上触发 lambda

我正在尝试触发 lambda 执行以在 FIFO 队列中执行一个项目.除了投票之外,我们还有什么选择来实现这一目标?我们刚刚了解到我们不能直接从 FIFO 队列触发 lambda 执行,目前仅支持标准队列.我还了解到我们不能将 SNS 主题订阅到 FIFO 队列——这也仅在标准队列上受支持. 在亚马逊发布更新之前,有没有人找到解决这个问题的方法? 解决方案 这里唯一的选择是按特定时间 ..
发布时间:2021-11-27 11:13:26 其他开发

SQS 用多条记录/消息触发 Lambda?

我观察到一个异常(好吧,在我的 POV 中)功能,当我设置 SQS 以触发 Lambda 时,当新消息到达时,Lambda 会在其事件正文中触发超过 1 条记录/消息. 完整的设置是 S3 (PutObjectEvent) -> SNS 主题 -> SQS -> Lambda. 异常行为是,例如,假设我将 15 个对象放入 S3,然后每个对象将事件转发到 SNS,然后我可以观察到,SQS ..
发布时间:2021-11-27 11:13:15 其他开发

带有 SQS 触发器的 AWS Lambda,SQS Lambda 目的地,从不添加到目的地队列

我有一个从 SQS 队列触发的简单 lambda 函数,我正在使用新的 Lambda 目标 功能. 设置为从QUEUE_A触发,对payload body做一些修改,然后在成功时将其发送到QUEUE_B,或者QUEUE_ERRORS 失败. QUEUE_B 和 QUEUE_ERRORS 在 lambda 函数上设置为 目的地. 当我从 CLI 触发 lambda 时,我在 QUE ..
发布时间:2021-11-27 11:13:08 其他开发

Nodejs sqs队列处理器

我正在尝试编写一个 nodejs sqs 队列处理器. "使用严格";var appConf = require('./config/appConf');var AWS = require('aws-sdk');AWS.config.loadFromPath('./config/aws_config.json');var sqs = new AWS.SQS();var exec = requir ..
发布时间:2021-11-27 11:13:00 其他开发

如何关闭 AWS CLI 返回值的寻呼机?

我正在尝试利用 AWS CLI 和 bash 中的 for 循环来迭代清除多个 SQS 消息队列.bash 脚本几乎按预期工作,我遇到的问题是每次 AWS CLI 发送请求时的返回值.当请求成功时,它返回一个空值并在命令行中打开一个交互式寻呼机.然后我必须手动输入 q 退出交互式屏幕并允许 for 循环继续下一次迭代.当尝试清除大量队列时,这会变得非常乏味和耗时. 有没有办法配置 AWS C ..
发布时间:2021-11-27 11:12:50 其他开发

如何使用 lambda 函数处理 SQS 队列(不是通过计划事件)?

这是我正在努力实现的简化方案: http 请求 --> (Gateway API + lambda A) --> SQS --> (lambda B?????) --> DynamoDB 所以它应该如图所示工作:来自许多 http 请求的数据(例如,每秒最多 500 个)由我的 lambda 函数 A 放入 SQS 队列.然后另一个函数 B 处理队列:读取多达 10 个项目(定期)并使 ..
发布时间:2021-11-27 11:12:41 其他开发