celery相关内容

如何同时执行两个任务

我在处理芹菜时遇到问题. 我有两个功能:1)激活程序后,此功能将被激活,并且将无限运行: 来自celery.signals的 导入worker_ready@ worker_ready.connect()def message_poll_start(发件人=无,标头=无,正文=无,**假):而True:time.sleep(2)打印(“你好") 2)此功能每十秒钟激活一次,并在txt文 ..
发布时间:2021-04-21 20:01:21 Python

Celery错误“预期为0xce时收到0x00".

我尝试使用芹菜.我已经通过celery教程中的命令安装了 rabbit-mq : sudo apt-get install rabbitmq-server 当我在一个文件中编写代码并运行它以测试功能时,所有方法都运行良好.但是,当我尝试在Django视图中添加代码,然后对视图进行并发请求时,出现了这种异常: 文件"/home/kinmanz/PycharmProjects/GitFace ..
发布时间:2021-04-21 20:01:09 其他开发

Kombu/Celery消息传递

我有一个发送&接收消息,kombu,并使用Celery对消息进行任务处理.Kombu alon,我可以正常收到消息.当我发送"Hello"时,kombu会收到"Hello".但是,当我添加任务时,kombu收到的是芹菜的任务ID. 我在此项目中的目的是让我可以安排发送和接收消息的时间,因此也可以安排Celery. 我想知道的是为什么kombu接收任务ID而不是发送的消息?我已经搜索了并 ..
发布时间:2021-04-21 20:01:07 Python

Celery任务功能-Web服务器与远程服务器

我愿意将任务从Web服务器(运行Django)发送到装有Rabbitmq服务器以及我用Celery实现的一些工作程序的远程计算机上. 如果我遵循Celery的方法,似乎我必须在两台机器之间共享代码,这意味着在Web应用程序代码中复制worker逻辑代码. 所以: 是否有这样做的最佳实践?由于代码是冗余的,因此我正在考虑使用git子模块(在Web应用程序代码存储库和工作程序代码存储 ..
发布时间:2021-04-21 20:01:04 Python

Django和Celery,AppRegisteredNotReady异常

我正在尝试将Celery集成到我的Django项目中.我已经关注了Celery文档,并且可以执行一个简单的Hello World任务.但是,当我尝试将模型导入到任务定义中时,出现了AppRegisteredNotReady异常.我正在寻找有关此异常的一些较早的讨论,但没有最新的讨论.我可能缺少了一些非常简单的内容. Python 3.5,Django 1.9,Celery 3.1.23 ..
发布时间:2021-04-21 20:01:01 其他开发

Celery Task Custom跟踪方法

我的主要问题取决于我需要知道某个任务是否仍在排队,已开始或已被撤销的事实. 我无法使用芹菜和Redis进行此操作,因为结果在Redis中被删除24小时. 我有一些想法,但我认为最可靠的想法是让数据库跟踪并手动添加用户正在运行的任务所需的关键信息. 有一些方法可以在任务开始之前运行,并且当我创建任务或撤消它们时,我还可以手动使用数据库?我不会为每个任务创建一个新行,而是为每个用户更 ..
发布时间:2021-04-21 20:00:54 Python

Django中带有Redis代理的Celery:任务成功执行,但是仍然存在太多持久性Redis密钥和连接

我们的Python服务器(Django 1.11.17)使用带有Redis的Celery 4.2.1作为代理(我们使用的pip redis软件包是3.0.1).Django应用程序已部署到Heroku,而Celery经纪人是使用Heroku的Redis Cloud插件设置的. 我们必须完全在一分钟内完成Celery任务(完成时间中位数约为100毫秒),但是我们发现Redis密钥和连接的持久性 ..
发布时间:2021-04-21 20:00:51 Python

您如何在Google App Engine中启动工作人员?

我想在Google App Engine上的Django应用中使用Celery. 我的问题是:如何启动/运行工人? 解决方案 我不熟悉Celery,但是文档告诉我这是一个任务队列库.在这种情况下,最好改用 Google Tasks服务.长期以来,任务排队服务一直是App Engine的一大优势. 在App Engine经典版上,所有执行都是通过HTTP请求启动的.因此,如果您绝 ..
发布时间:2021-04-21 20:00:47 其他开发

芹菜和弦与链组,链中例外

我正在用芹菜和一组链子演奏和弦.当组中的所有任务(链条...)成功完成时,将触发和弦回调,并且一切正常.但是,当组中的某个任务失败时(在这种情况下,我不希望和弦回调被调用),chord_unlock会无休止地循环.如果组中的链条之一出现故障,如何避免出现chord_unlock循环? 这是我的代码: @ app.taskdef test1():logging.info("test1")引 ..
发布时间:2021-04-21 20:00:44 Python

带有多个Django站点的芹菜

我为少数客户的站点提供了一个django后端: my_proj|-my_proj|-__init__.py|-settings.py|-settings_development.py|-settings_production_1.py|-settings_production_2.py|-settings_production_3.py|-my_app_1|-my_app_2... set ..
发布时间:2021-04-21 20:00:41 其他开发

是否可以扩展Celery,以便将结果存储到多个MongoDB集合中?

我已经开始一个新项目,我想让Celery将结果保存到多个MongoDB集合中,而不是一个.有没有办法通过配置来做到这一点,或者我需要扩展Celery和Kombu来实现这一点? 解决方案 您不需要修改Celery,可以对其进行扩展.这正是我为一个内部项目所做的.我不想触及标准结果后端(在我的情况下为Redis),但也想将任务的状态和结果很好地存储在MongoDB中,同时增强状态/结果. ..
发布时间:2021-04-21 20:00:35 其他开发

如何使用CeleryExecutor在自定义Docker映像上运行气流

我正在向Web应用程序添加气流,该应用程序将包含业务逻辑的目录手动添加到 PYTHON_PATH env var,以及我希望在所有服务器上保持一致的其他系统级设置在我的集群中.我已经使用RMQ作为代理成功运行了此应用程序的celery,并以Redis作为任务结果后端运行了一段时间,并且具有使用 LocalExecutor 运行Airflow的经验. 我没有使用Pukel的图像,而是有一个基本 ..
发布时间:2021-04-21 20:00:33 其他开发

长时间的芹菜任务导致Django中的MySQL超时-选项?

我的芹菜任务大约需要6个小时.最后,Django(或可能是Celery)提出了一个异常"MySQL服务器已消失". 经过阅读后,看来这是长任务的已知问题.我(认为自己)无法控制ping或执行其他任务;但是在花费时间的调用完成后会引发异常(但仍在task函数中). 我可以在函数中进行调用以重新建立连接吗? (我已经使用相同的RDS MySQL DB在“本地"运行了此任务,但没有出现 ..
发布时间:2021-04-21 20:00:30 Python

使用RabbitMQ更新Celery中的任务

我在django项目中使用Celery创建任务以在将来的特定时间发送电子邮件.用户可以使用 notify_on datetime字段创建一个Notification实例.然后,我将 notify_on 的值作为 eta 传递. class Notification(models.Model):...notify_on = models.DateTimeField()def notificati ..
发布时间:2021-04-21 20:00:27 其他开发

使用Redis时,在Celery中进行可靠的任务处理需要什么?

我们希望在kubenetes群集中运行Celery/Redis,并且当前未启用Redis持久性(所有内容均在内存中).我担心的是:Redis重新启动(丢失内存中的数据),工作者重新启动/中断(由于崩溃和/或Pod调度)以及短暂的网络问题. 在使用Celery通过Redis进行任务处理时,需要什么来确保任务可靠? 解决方案 为了在使用Redis作为代理(和结果后端)时使Celery群集 ..
发布时间:2021-04-21 20:00:24 Python

获取芹菜任务ID

我做了类似的事情 @ app.taskdef some_task()logger.info(app.current_task.request.id)some_func()def some_func()logger.info(app.current_task.request.id) 所以我在some_task内收到普通ID,但在some_func内等于None.如何获得真实的任务ID? ..
发布时间:2021-04-21 20:00:18 其他开发