如何在不编写代码的情况下在Amazon sqs中实现指数补偿
我有一个简单的任务，需要第三方参加.当请求到来时，我将其推送到 amazon sqs 队列中，将其拉入工作进程并致电第三方.如果超时，我想实现指数补偿(请在2秒内重试，然后再尝试4秒再尝试8秒，然后...)进行最大重试. 使用 python ， boto->平方 我一直在寻找内置参数，以允许我使用尽可能少的代码(理想情况下，根本没有代码). 类似 从boto导入sqsdef h
..
amazon-sqs相关内容
C#AWS SQS客户端由于其保护级别而无法访问
因此，在从AWS上获取示例以使其适用于C#时，我一直遇到问题.我直接从他们的网站下面复制代码，并将其放在我的程序中，但是当它调用client.ListQueues(request);时.它告诉我由于保护级别而无法访问.我已经花了很多时间搜索，但是我无法弄清楚为什么这是行不通的.任何帮助将不胜感激. var client = new AmazonSQSClient();//列出所有以"aws"开
..
AWS Lambda不会从队列中删除消息
我正在使用以下代码从SQS事件中触发Lambda函数: @Override公共虚空handleRequest(SQSEvent sqsEvent，Context context){对于(SQSMessage sqsMessage:sqsEvent.getRecords()){最后的字符串正文= sqsMessage.getBody();尝试 {//在这里做东西} catch(ex ex例外){
..
Laravel-作业在一台服务器上调度，在另一台服务器上处理
我正在研究Laravel应用程序的日志记录方面，amd计划将数据发送到SQS以便以后进行检索.但是，我想将作业从生产服务器分派到AWS Queue，然后让Queue在监听日志的单独的Logging服务器上工作. 我了解如何设置队列工作程序以侦听队列，但是，Laravel的工作是自我处理的.因此，当日志服务器上的工作程序从SQS检索消息时，它将在相同名称空间(具有相同的类名)中查找作业以进行处
..
我应该何时删除SQS中的消息?
我的应用程序包含: 1个Amazon SQS消息队列 n名工人 工人具有以下逻辑: 1.等待来自SQS队列的消息2.执行消息中描述的任务3.从SQS队列中删除消息4.转到(1) 我希望每条消息只能由一个工作人员接收，以避免重复工作. 是否存在使用SQS将消息标记为“进行中"的机制，以便其他轮询器不会收到该消息? 或者，是否应该在收到消息后立即将其删除? 1.等
..
如何使用Python中的boto库获取Amazon SQS中的消息接收计数?
我正在Python中使用boto库获取Amazon SQS消息.在特殊情况下，我不会从队列中删除消息，以便进行更多更改以恢复临时故障.但是我不想一直不断收到失败的消息.我想做的是在接收3次以上后删除消息，或者在接收计数大于3次时不接收消息. 最优雅的方法是什么? 解决方案 至少有两种方法可以做到这一点. 当您在boto中读取消息时，您会收到一个Message对象或其某些子类.消
..
如何防止重复的SQS消息?
在Amazon SQS中防止重复消息的最佳方法是什么?我有一个等待抓取的域的SQS.在将新域添加到SQS之前，我可以检查保存的数据，以查看它是否最近已被爬网，以防止重复. 问题出在尚未爬网的域上.例如，如果队列中有1000个尚未爬网的域.这些链接中的任何一个都可以一次又一次地添加.这使我的SQS膨胀到成千上万的消息，这些消息大多是重复的. 如何防止这种情况?有没有办法从队列中删除所有重
..
AWS SQS Boto3手动将消息发送为死信
因此，我正在构建一个使用SQS的小型应用程序.我有一个简单的处理程序流程，它确定给定的消息是否被认为已处理，标记为重试(要重新排队)或无法处理(应发送给无效信件). 但是，根据文档，将消息真正发送到DL的唯一方法似乎是使用重新驱动策略，该策略在接收到的消息数量已超过#的情况下运行.由于我的应用程序的性质，如果我的进程尚未准备好处理给定的消息，那么我可以进行几次有效的重试，但是有时我可能希望对
..
如何解决Linux的“太多论点"?限制
我必须将256Kb的文本作为参数传递给"aws sqs"命令，但在命令行中遇到了大约140Kb的限制.在许多地方对此进行了讨论，从2.6.23内核开始已在Linux内核中解决了该问题 但是无法使其正常工作.我正在使用 3.14.48-33.39.amzn1.x86_64 这是一个简单的示例进行测试: #！/bin/bash大小= 1000而[$ SIZE -lt 300000]做回声
..
如何关闭寻呼机以获取AWS CLI返回值?
我正在尝试使用bash中的AWS CLI和 for 循环来迭代地清除多个SQS消息队列.bash脚本几乎按预期工作，每次AWS CLI发送请求时，返回值的问题都是我遇到的.请求成功后，它将返回一个空值，并在命令行中打开一个交互式寻呼机.然后，我必须手动键入 q 退出交互式屏幕，并允许 for 循环继续进行下一次迭代.尝试清除大量队列时，这变得非常乏味且耗时. 是否可以将AWS CLI配置为禁
..
由SQS触发的AWS Lambda会增加SQS请求数量
我有一个由SQS触发的AWS Lambda函数.每天大约触发100次此功能，但是每天向SQS队列发出的请求计数大约为20.000次.我不明白为什么对SQS提出的请求数量太多.我的期望是，对SQS的请求数量应与Lambda调用相同. 我的帐户中只有一个Lambda函数和一个SQS队列. 可以与SQS队列的轮询相关吗?我试图从队列配置中更改SQS的轮询间隔，但未进行任何更改.另一种可能性是
..
如何使用加密的DLQ向SNS添加Redrive策略
我有一个由两个Lambda订阅的SNS(用KMS加密).我试图将Redrive策略添加到其中一个订阅中.所讨论的DLQ已加密. 添加“重新驱动器"策略给我一个错误“无法检查Amazon SQS队列权限.确保队列存在，并且您的帐户有权读取队列的属性.要允许Amazon SNS主题将消息发送到Amazon SQS队列，您必须创建一个Amazon SQS队列策略' 我尝试给予DLQ队列SNS
..
是否可以集成AWS SNS和AWS SQS FIFO队列
通过在SQS中引入FIFO队列我们保证SQS消息将按顺序传递. 现在，当我通过SNS发布消息时，是否会出现乱序传递?这就是我在想的可能发生的事情: _____ _____ __________|应用|-发布消息1->|SNS |->队列消息2->|先进先出SQS |->消耗2||-发布消息2->||->队列消息1->||->消耗1----- ----- ---------- 这种情况
..
使用SQS在SNS中模拟消息持久性
我们正在评估SNS的消息传递要求，以集成多个应用程序.我们只有一个生产者，可以将消息发布到SNS上的多个主题.每个主题有2-5个订阅者.如果订户发生故障(为了维护而停机)，我对使用每个消费者使用SQS队列的推荐策略有一些疑问 是否可以将SNS配置为仅在将消息传递给订户失败的情况下才推送到SQS?将SQS队列中的所有消息都转储会给消费者带来一个问题，供使用者在重新启动队列时分析队列中的所有消息
..
如何使用Laravel Queue在S3上拦截新文件?
我有一个S3存储桶 mybucket ，当要将新文件复制到该存储桶时，我想执行一些操作.对于通知，我想使用SQS队列 notifiqueue ，因为我的目标是使用 Laravel 访问该队列. 由于我是在 CloudFormation 中创建我的基础架构的，因此资源的创建是这样的: NotificationQueue:类型:AWS :: SQS :: Queue特性:可见性超时:120Qu
..
使用AWS CLI命令在条件中添加SQS权限
如何使用AWS CLI命令添加以下列出的SQS权限? “声明":[{"Sid":"Sid8390000202"，“效果":“允许"，“主要的": "*"，"Action":"SQS:*"，"Resource":"arn:aws:sqs:us-east-1:12345678:example-queue"，“状况": {"ArnEquals":{"aws:SourceArn":"arn:aws:sn
..
缩减规模的AWS AutoScaling-等待进程终止
当SQS队列较短时，我想使用AWS AutoScaling缩减一组实例.这些实例要做一些繁重的工作，有时需要5到10分钟才能完成.我希望在实例终止之前完成这项工作. 我知道很多人应该面临同样的问题.EC2是否可以在实际终止实例之前处理AWS终止请求并完成我所有正在运行的进程?最好的方法是什么? 解决方案 假设您使用的是Linux，则可以创建一个预烘焙的AMI，该AMI可在连接到Aut
..
当消息出现在SQS队列中时触发AWS中的Lambda函数
我正在使用AWS Lambda函数来处理Queue中的消息，它工作正常.但是，当消息可用或已添加到SQS队列中时，我需要执行此Lambda函数. 是否有可能基于SQS队列触发Lambda函数.请提出一种实现此目标的方法. 解决方案 不直接支持从SQS队列调用Lambda函数.您可以在此处查看可用触发器的列表: http://docs.aws.amazon.com/lambda/lat
..
DynamoDB没有收到整个SQS消息正文
我正在从API分批提取数据，并将其发送到SQS队列.我遇到问题的地方是处理消息，以便将数据发送到DynamoDB.数据集中应该有147,689条记录.但是，在运行代码时，有时将少于147,689条记录放入DynamoDB，有时将多于147,689条记录放入DynamoDB，有时将147,689条记录放入DynamoDB.它并没有一致地将147,689条记录放入数据库中. 我已经尝试了所有可以
..
S3事件的Cloudformation SQS策略
我正在尝试为SQS队列创建一个策略，该策略将允许任何S3存储桶将事件发送到该队列.我似乎无法针对特定的S3队列执行此操作，因为我最终遇到了循环依赖. 我已经创建了一个cloudformation模板，该模板将创建队列和策略，但是当我尝试手动设置S3存储桶以发送事件时，我会收到一条消息 目标队列上的权限不允许S3发布来自此存储桶的通知 我用来创建策略的模板部分是: "SQSNot
..