amazon-sqs相关内容

由于需要后缀,设置从S3存储桶到FIFO SQS队列的通知时出错。

各位: 我相信我在最新的AWS FIFO SQS上遇到了一个小错误,有谁有解决我遇到的以下错误的解决方案? 我已在AWS SQS管理控制台(us-West-2区域)上创建了FIFO队列。要创建FIFO队列,SQS管理控制台要求在队列的名称上插入一个“.fio”后缀(这不常见--“。不推荐用于命名AWS上的任何内容)。 我已在此队列上设置了适当的权限,以便从我在同一区域拥有的存储桶接收通 ..
发布时间:2022-08-14 10:54:24 其他开发

是否可以丰富SQS队列上的消息

我有一条消息正在从SQS队列中读出。如果我执行的操作成功,我将从队列中删除该消息。 但如果操作失败,我正在考虑丰富队列中的消息,以获得有关失败的一些额外信息。 是否可以使用SQS丰富队列中的消息(在读取和删除之间)? 推荐答案 否。无法更新/修改队列中的消息。 每次检索消息时,它都会递增ApproximateReceiveCount(消息已从队列中接收但未删除的次数) ..
发布时间:2022-07-17 15:24:56 其他开发

AWS SQS:如何使用1个发布者-N接收者?

如何在AWS SQS中创建与RabbitMQ中的“直接”交换类似的东西: 1个邮件--N个接收者队列。 每个客户端应用连接到服务器并创建自己的队列,发布者发送一条消息进行交换(直接+路由键)并将其发送到所有N个队列,然后每个用户读取自己的队列,队列被清空。 推荐答案 这可以通过结合Amazon SNS和Amazon SQS的“扇出”模式来实现: 创建所有所需的Amazon ..
发布时间:2022-04-17 20:58:52 其他开发

AWS架构:将作业路由至工作人员池

我有这样的场景: 有一个放置文件的S3存储桶。 删除文件时,会触发lambda函数,该函数会执行某些操作。 我希望为删除的每个文件执行一些操作,并且这些操作应由工作进程池处理。 我认为lambdas不是工作者的最佳解决方案,因为它们会在不受控制的情况下繁殖,所以也许我可以让lambdas将消息发布到一个队列,并让固定数量的工作者(池)从队列中异步读取消息。也许仅仅是质量体系就足够了 ..

SQS在5分钟内未按顺序触发Lambda

我是AWS新手,正在使用SQS来触发lambda函数。 该函数的顺序为: 并将队列传递给SQS,然后SQS触发Lambda B。 当我运行Lambda A时,我看到Lambda B如我预期的那样被触发。然而,当我在最后一次运行Lambda A之后的5分钟内运行Lambda A时,Lambda B没有被触发。我想知道是否有使用SQS触发Lambda函数的默认时间设置为&5分钟&。如果是,我如何 ..
发布时间:2022-04-17 20:54:42 其他开发

每次添加消息时,AWS死信队列CloudWatch警报

我想在每次向我的DLQ添加消息时触发AWS cloudwatch警报。我正在使用云信息部署我的SQS/dlq资源,但我不知道如何配置这种类型的警报。 推荐答案 配置告警时需要使用NumberOfMessages Sent。请参阅云表单中的参考:https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-prope ..
发布时间:2022-04-17 20:52:15 其他开发

在控制台中查看SQS消息是否会增加接收计数?

我是AWS新手。我有一个包含5条消息的死信SQS,当我试图弄清楚它们是如何进入死信队列时,我检查了几次这些消息。我正在使用AWS控制台检查消息:右键单击SQS,然后选择“查看/删除消息”,然后单击“开始轮询消息”。每次我检查时,我看到所有5条消息的ReceiveCount都更高,通常递增1。我不明白的是,这是否意味着某个其他组件正在从SQS读取消息,或者我的检查本身的行为是否导致ReceiveCo ..
发布时间:2022-04-17 20:50:56 其他开发

如何为SQS FIFO队列订阅标准SNS主题?

几个differentquestions被问及如何为SNS主题订阅SQS FIFO队列,他们的回答是不可能,或者最近的现在可以使用SNS FIFO主题&。 这个问题在前提方面更具体一些: 使用SNS FIFO主题不可行,必须是标准主题 使用标准SQS队列不是可行的选择,它必须是FIFO队列 截至撰写本文时,AWS不支持直接订阅。 如何以下一个最好的方式实现它?使用AWS ..
发布时间:2022-04-17 20:49:51 其他开发

Spring Cloud AWS SQS无法在本地连接到服务端点

我正在尝试在我正在进行的一个项目中使用Spring Cloud的AWS SQS。目前,我只在我的开发机器上本地运行该应用程序。因此,我想要的是连接到AWS上的SQS,而不必将我的应用程序部署到EC2实例。 然而,似乎Spring Cloud的AWS包中使用的AWS SDK将尝试通过元数据进行身份验证,并希望解析169.254.169.254/latest/meta-data/instance-i ..

无法验证以下目标配置(S3到SQS)

我正在尝试使用Serverless设置一个工作流,它创建一个新的S3存储桶、一个新的SQS队列,当在S3存储桶中创建一个对象时,将一个消息放到队列中,一旦队列中有足够的消息,就会旋转一个lambda。我的资源挡路中有以下内容: resources: Resources: AnalyticsQueue: Type: "AWS::SQS::Queue" Pro ..

像 mqtt 或 sqs 这样的排队和消息传递的文档

有没有像 swagger 这样的解决方案来记录队列和消息,比如 mqtt 或 sqs? 解决方案 查看 AsyncAPI. GitHub 存储库:https://github.com/asyncapi/asyncapi AsyncAPI 是一项开源计划,旨在改善事件驱动架构 (EDA) 的当前状态.我们的长期目标是让使用 EDA 就像使用 REST API 一样简单.从文档到代 ..
发布时间:2022-01-22 17:52:30 其他开发

Laravel - 在一台服务器上调度作业,在另一台服务器上处理

我正在研究 Laravel 应用程序的日志记录方面,amd 计划将数据发送到 SQS 以便稍后检索.但是,我想将作业从我的生产服务器分派到 AWS 队列,然后让队列在一个单独的日志服务器上工作,该服务器监听队列. 我了解如何设置队列工作者来监听队列,但是,Laravel 的作业是自我处理的.所以当 Logging 服务器上的 worker 从 SQS 检索消息时,它会在相同的命名空间(具有相 ..
发布时间:2022-01-21 11:59:21 其他开发

Akka、SQS 和 Camel 的消费者投票率

我正在进行的一个项目需要从 SQS 读取消息,因此我决定使用 Akka 来分发这些消息的处理. 由于 Camel 支持 SQS,并且在 Consumer 类中内置了供 Akka 使用的功能,我认为最好以这种方式实现端点并读取消息,尽管我没有看到很多人的例子这样做. 我的问题是我无法足够快地轮询队列以保持队列为空或接近空.我最初的想法是,我可以让消费者以 X/s 的速率通过 Camel ..
发布时间:2022-01-19 08:25:22 其他开发

与 RabbitMQ 相比,Amazon SQS 的性能较慢

我想在我的 Web 应用程序中集成一个消息队列中间层.我测试了 Rabbitmq 和 Amazon SQS,但发现 Amazon SQS 很慢.我在 Amazon SQS 中获得 80 个请求/秒,而在 Rabbitmq 中获得 2000 个请求/秒.我问这个问题是因为我对 Amazon SQS 更感兴趣,因为我将 Amazon 的所有服务用于我的 Web 应用程序.谁能告诉我为什么这么慢?或者, ..
发布时间:2022-01-11 17:53:46 其他开发

为什么 SqS 消息有时会在队列中保持飞行状态

我正在以一种非常简单的方式使用 Amazon SQS 队列.通常,消息被写入并立即可见和阅读.有时,会写入一条消息,并在队列中保持飞行中(不可见)几分钟.我可以从控制台看到它.接收消息等待时间为 0,默认可见性为 5 秒.它将保持这种状态几分钟,或者直到写入新消息以某种方式释放它.延迟几秒是可以的,但是超过60秒就不行了. 有 8 个读取器线程总是长时间轮询,所以并不是某些东西没有尝试读取它 ..
发布时间:2021-11-27 11:16:08 其他开发

如何防止重复的 SQS 消息?

在 Amazon SQS 中防止重复消息的最佳方法是什么?我有一个等待抓取的域的 SQS.在向 SQS 添加新域之前,我可以检查保存的数据以查看它最近是否被抓取,以防止重复. 问题在于尚未被抓取的域.例如,如果队列中有 1000 个尚未爬网的域.这些链接中的任何一个都可以一次又一次地添加.这使我的 SQS 膨胀到数十万条消息,其中大部分是重复的. 我如何防止这种情况发生?有没有办法从队 ..
发布时间:2021-11-27 11:15:57 其他开发

从 RabbitMQ 迁移到 Amazon SQS

我们的初创公司目前正在使用 RabbitMQ(带有 Python/Django)作为消息队列,现在我们计划迁移到 Amazon SQS它的高可用性 &他们的延迟队列功能.但是我在 INTERNET 上到处都在阅读 SQS 性能缓慢&也非常划算,那么迁移到 Amazon SQS 还是应该坚持使用 RabbitMQ 是明智的决定吗?如果我们坚持使用 RabbitMQ 是好的,那么“延迟队列"的替代解决 ..
发布时间:2021-11-27 11:15:42 Python