如何按名称限制运行芹菜任务的最大数量 [英] How to limit the maximum number of running Celery tasks by name

问题描述

如何限制可以同时运行的特定芹菜任务的实例数？

我有一个处理大文件的任务。我遇到了一个问题，用户可能会启动多个任务，导致服务器在尝试一次处理太多文件时耗尽CPU和内存。我希望确保在任何给定时间只运行这一类型任务的N个实例，并且其他任务将在计划程序中排队，直到其他任务完成。

我看到任务修饰器中有一个rate_limit选项，但我认为这不是我想要的。如果我对文档的理解正确，这只会限制任务启动的速度，但不会限制正在运行的任务的总数，因此这会使我的服务器崩溃得更慢……但尽管如此，它仍然会崩溃。

推荐答案

您必须设置额外的队列并为其设置所需的并发级别。发件人Routing Tasks：

# Old config style    
CELERY_ROUTES = {
                'app.tasks.limited_task': {'queue': 'limited_queue'}
            } 

或

from kombu import Exchange, Queue
celery.conf.task_queues = (
        Queue('default', default_exchange, routing_key='default'),
        Queue('limited_queue', default_exchange, routing_key='limited_queue')
    ) 

并启动额外的Worker，仅服务LIMITED_QUEUE：

$ celery -A celery_app worker -Q limited_queue --loglevel=info -c 1 -n limited_queue

然后您可以使用Flower或检查命令：

检查一切是否正常运行

$ celery -A celery_app worker inspect --help

这篇关于如何按名称限制运行芹菜任务的最大数量的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！