kombu相关内容

芹菜即使允许腌制也不接受腌制

我正在尝试编写一个芹菜应用程序,它将Numpy数组(或任何任意对象)传递给Worker。据我所知,这需要通过pickle进行序列化(注意:我知道安全问题,但在本例中这不是问题)。 但是,即使在尝试了所有我能找到的允许Pickle作为序列化程序的方法之后,我仍然得到以下Kombu异常: kombu.exceptions.ContentDisallowed: Refusing to des ..
发布时间:2022-02-27 13:22:32 Python

使用具有多个线程的rabbitmq消息队列(Python Kombu)

我有一个带有单个队列的 RabbitMQ 交换.我希望创建一个运行多个线程并尽快通过该队列工作的守护进程. “工作"涉及与外部服务的通信,因此每个消费者内部都会发生相当多的阻塞.因此,我希望多个线程都处理来自同一个队列的消息. 我可以通过使用主线程上的队列,然后将传入的工作分配给其他线程池来实现这一点,但是有没有办法在各自的线程上下文中启动多个消费者? 解决方案 看看 cele ..
发布时间:2022-01-11 17:59:37 Python

谁能告诉我 python 中 pika 和 kombu 消息传递库之间有什么区别?

我想在我的应用程序中使用消息传递库与 rabbitmq 进行交互.谁能解释一下 pika 和 kombu 库之间的区别? 解决方案 Kombu 和 pika 是两个不同的 Python 库,它们从根本上服务于相同的目的:向/从消息代理发布和消费消息. Kombu 比 pika 具有更高的抽象级别.Pika 仅支持 AMQP 0.9.1 协议,而 Kombu 可以支持其他传输(例如 R ..
发布时间:2022-01-11 17:56:23 其他开发

区分 celery、kombu、PyAMQP 和 RabbitMQ/ironMQ

我想将图像上传到 S3 服务器,但在上传之前我想生成 3 种不同大小的缩略图,并且我希望它在请求/响应周期之外完成,因此我使用的是 celery.我已经阅读了文档,这是我所理解的.如果我错了,请纠正我. Celery 可帮助您在请求响应周期之外管理任务队列. 还有一种叫做胡萝卜/kombu 的东西——它是一个 django 中间件,用于打包通过 celery 创建的任务. 然后是第三层 ..
发布时间:2022-01-11 17:20:05 Python

芹菜与亚马逊 SQS

我想使用 Amazon SQS 作为 芹菜.Celery 依赖于 Kombu 的 SQS 传输实现.但是没有足够的文档来使用它,所以我找不到如何在 Celery 上配置 SQS.有没有人在 Celery 上成功配置过 SQS? 解决方案 我多次遇到这个问题,但仍然不完全确定如何设置 Celery 以与 SQS 一起工作.事实证明,使用最新版本的 Kombu 和 Celery 很容易.作为另 ..
发布时间:2021-11-27 11:10:30 其他开发

Kombu/Celery消息传递

我有一个发送&接收消息,kombu,并使用Celery对消息进行任务处理.Kombu alon,我可以正常收到消息.当我发送"Hello"时,kombu会收到"Hello".但是,当我添加任务时,kombu收到的是芹菜的任务ID. 我在此项目中的目的是让我可以安排发送和接收消息的时间,因此也可以安排Celery. 我想知道的是为什么kombu接收任务ID而不是发送的消息?我已经搜索了并 ..
发布时间:2021-04-21 20:01:07 Python

谁能告诉我python中的pika和kombu消息传递库有什么区别?

我想在我的应用程序中使用消息传递库与Rabbitmq进行交互.谁能解释一下pika和kombu库之间的区别? 解决方案 Kombu和pika是两个不同的python库,它们在根本上具有相同的用途:将消息发布到消息代理和从消息代理使用消息. Kombu具有比pika更高的抽象级别.Pika仅支持AMQP 0.9.1协议,而Kombu可以支持其他传输(例如Redis).一般而言,Komb ..
发布时间:2021-04-03 20:04:54 其他开发

Python:Kombu + RabbitMQ死锁-队列被阻塞或阻塞

问题 我有一个 RabbitMQ服务器充当我的系统之一的队列中心。在最后一个星期左右,其生产商每隔几个小时就会完全停止。 我尝试了什么 蛮力 停止使用消费者会释放锁定几分钟,但随后会阻止返回。 重新启动RabbitMQ可以解决此问题几个小时。 我有一些自动脚本可以使丑陋的重启,但这显然离适当的解决方案还很远。 分配更多的内存 按照 cantSleepNow的 ..
发布时间:2020-10-19 04:16:02 Python

芹菜单元测试的内存中代理

我有一个用Django编写的REST API,带有和端点,在将芹菜任务发布时将其排队。响应中包含任务ID,我想用它来测试任务是否已创建并获得结果。因此,我想执行以下操作: def test_async_job(): 响应= self.client。 post(“ / api / jobs /”,some_test_data,format =“ json”) task_id = respo ..
发布时间:2020-09-30 02:33:41 其他开发

消耗具有多个线程的Rabbitmq消息队列(Python Kombu)

我有一个带有单个队列的RabbitMQ交换.我希望创建一个运行多个线程并尽可能快地通过此队列的守护程序. “工作"涉及与外部服务的通信,因此每个消费者内部都会发生大量的阻塞.因此,我想拥有多个线程来处理来自同一队列的消息. 我可以通过消耗主线程上的队列,然后将传入的工作分配到其他线程池中来实现此目的,但是有没有办法启动多个使用方,每个使用方都在自己的线程上下文中? 解决方案 看 ..
发布时间:2020-05-13 23:14:18 Python

区分芹菜,kombu,PyAMQP和RabbitMQ / ironMQ

我想将图像上传到S3服务器,但在上传之前,我想生成3种不同大小的缩略图,并且我希望它能够在请求/响应周期内完成,因此我使用了芹菜。我已阅读文档,这是我的理解。如果我错了,请纠正。 Celery可以帮助您管理请求响应周期外的任务队列。 b 然后有一个名为carrot / kombu的东西 - 它是一个django中间件,它包含通过芹菜创建的任务。然后,第三层PyAMQP便于胡萝卜与经纪人。例如 ..
发布时间:2018-06-07 10:52:08 Python

什么是django-celery(djcelery)表?

当我运行syncdb时,我注意到很多表创建如下: djcelery_crontabschedule ... djcelery_taskstate django-kombu正在提供传输,所以它可以不能与实际的队列相关。即使我执行任务,我仍然看不到这些表中的任何填充。这些表用于什么?监控的目的 - 如果我启用它? 如果是这样,如果我做一个AsyncResult()的查找也是如此, ..
发布时间:2017-05-29 07:54:10 其他开发

Django&芹菜 - 路由问题

我正在使用Django和Celery,我正在尝试将路由设置为多个队列。当我指定任务的 routing_key 和 exchange (在任务装饰器中或使用 apply_async )),任务不会添加到代理(这是Kombu连接到我的MySQL数据库)。 如果我指定队列任务装饰器中的名称(这将意味着路由键被忽略),任务工作正常。这似乎是路由/交换设置的一个问题。 任何想法可能是什么问题? ..
发布时间:2017-05-29 00:40:21 其他开发

芹菜与Amazon SQS

我想使用亚马逊SQS 作为经纪人的支持的芹菜。还有的SQS运输实现海带,其中芹菜依赖。但是没有足够的文档,使用它,所以我找不到如何在芹菜配置SQS。有没有人认为已经成功为上芹菜配置SQS? 解决方案 我就遇到了这个问题,好几次,但仍然没有完全确定设置如何西芹SQS工作。事实证明,它与海带和芹菜的最新版本很容易。作为一种替代方法在另一个答复中提到的BROKER_URL语法,你可以简单地集运输,选 ..
发布时间:2015-12-01 12:55:06 云存储