celery相关内容

Celery 任务总是 PENDING

我尝试在带有 redis 后端的 Windows 上运行 Celery 示例.代码如下: from celery import Celeryapp = Celery('risktools.distributed.celery_tasks',后端='redis://localhost',broker='redis://localhost')@app.task(ignore_result=False ..
发布时间:2021-09-25 20:02:41 Python

让芹菜等待任务完成

我希望 celery 等待特定任务完成,因此我在 celery 本身旁边安装了 celery-results-backend.但我不明白我必须如何编写任务调用才能等待,因为我目前收到以下错误: example_task() 缺少 1 个必需的位置参数:'user_pk' views.py: def 示例(请求):用户 = request.user如果 request.method == 'G ..
发布时间:2021-09-04 19:34:13 其他开发

未应用 Django Celery 更改

我的 django-celery 代码无法重新加载,我在看到一个据称已解决的错误后得出结论.谁能告诉我如何正确重启我的 Celery 服务器,或者问题是否仍然存在? 顺便说一下,在 Windows 10 上运行. 文件结构 |-- manage.py|-- nttracker\|-- celery.py|-- 任务.py|-- 设置.py 我还没有添加任何单独的配置文件. n ..
发布时间:2021-07-05 20:14:54 Python

Celery 广播与 RabbitMQ 扇出

我最近一直在使用 Celery,但我不喜欢它.它的配置凌乱、过于复杂且文档不全. 我想使用 Celery 从单个生产者向多个消费者发送广播消息.令我困惑的是 Celery 术语与底层传输 RabbitMQ 术语之间的差异. 在 RabbitMQ 中,您可以有一个 fanout Exchange 和多个队列广播消息: 但是在 Celery 中,这些术语都搞砸了:在这里你可以有一个 ..
发布时间:2021-07-02 18:33:41 其他开发

为什么我的 Airflow 任务排队但没有运行?

我是气流的新手,正在尝试设置气流来运行 ETL 管道.我能够安装 气流 postgres 芹菜 rabbitmq 我能够测试运行教程 dag.当我尝试安排作业时,调度程序能够选取它并将我可以在 UI 上看到但任务没有运行的作业排队.有人可以帮我解决这个问题吗? 这是我的配置文件: [核心]airflow_home =/root/airflowdags_folder =/r ..
发布时间:2021-06-18 20:35:27 其他开发

特定时间的Django Celery定期任务

我在项目中使用的是 celery == 4.1.1 .在我的 settings.py 中,我有以下内容: 从celery.schedules中的 导入crontabCELERY_BROKER_URL ="redis://127.0.0.1:6379/1"CELERY_TIMEZONE ='亚洲/加尔各答'CELERY_ACCEPT_CONTENT = ['application/json']C ..
发布时间:2021-05-01 20:43:09 Python

Django导出功能和Celery任务

我想使用Celery来异步运行我的任务,但是我遇到了一些麻烦.我想通过导出方法创建一个数据文件. 上下文: 用户可以将搜索结果导出到.xlsx文件中.但是有2种情况: 搜索包含少于70.000行.这样,用户可以直接使用 HttpResponse 下载生成的输出文件. 搜索包含70.000多行.在这种情况下,文件为由于使用Celery任务,因此可以将其写入媒体文件夹.这样,即使请 ..
发布时间:2021-05-01 20:17:21 Python

Celery + Django在Elastic Beanstalk上导致错误:& lt; class&#39; xmlrpclib.Fault&#39;& gt;< Fault 6:&#39; SHUTDOWN_STATE&#39;&gt;

我已经在AWS Elastic Beanstalk上部署了Django 2应用程序.我配置了Celery,以便在同一台计算机上执行异步任务.自从我添加Celery以来,每次我重新部署应用程序 eb部署myapp-env 时,都会出现以下错误: 错误:[实例:i-0bfa590abfb9c4878]命令在实例上失败.返回码:2输出:(TRUNCATED)...错误:已关闭错误: ..

我如何知道Django代码中芹菜后台处理是否成功.如果成功,我要呈现一个html页面

我无法执行此操作,因为Django代码中没有当前正在运行的后台进程的状态. 请求:我需要知道celery后台任务的状态并从那里渲染html页面 @ task_success.connectdef task_sent_handler3(sender = None,result = None,** kwargs):#有关任务的信息位于任务消息的标题中#使用任务协议版本2.#info =标头( ..
发布时间:2021-04-21 20:01:48 其他开发

强制停止芹菜工作者作为系统服务运行

重新启动服务器时如何杀死工作程序,并获得与以下语句相同的效果: pkill -9 -f'芹菜工人' 来自芹菜文档: 如果工作人员在经过适当的时间后不会因陷入无限循环或类似原因而关闭,则可以使用KILL信号强制终止工作人员: 但是我是作为systemd服务启动的,并具有以下配置以使用以下systemd单元文件启动它: [单位]Description =芹菜服务之后= netw ..
发布时间:2021-04-21 20:01:45 Python

Celery:确保工作人员不只运行一个用户的作业

我有4位芹菜工人,并发率为6. 我有用户提交不同数量的作业(从1到20). 如何确保每个用户的作业获得相同的处理时间,并且确保一个用户的作业不会填满队列,从而迫使其他用户的作业等待. 恐怕如果工人最终要完成第一个用户提交的所有工作,那么其他用户排队的工作必须等待第一个用户完成,这给您带来不便. 有没有一种方法可以使芹菜工作者意识到一个用户的工作阻止了另一个用户的工作.相反, ..
发布时间:2021-04-21 20:01:42 其他开发

python芹菜-get()被延迟

我正在运行以下简单示例.使用一个工作人员提交20个工作,每个工作需要2秒: celery-一个celery_test worker --concurrency 10 -l INFO 这应该花费2 * 2 = 4秒.这对于工作人员处理数据是正确的.但是,获取数据会增加6秒的延迟. 有什么想法可以消除这种延迟吗? 有关脚本和输出,请参见以下内容: celery_call.py ..
发布时间:2021-04-21 20:01:39 Python

使用动态routing_key启动工作程序?

我有一个队列,其中包含几种任务类型,并且我需要为特定任务运行worker.类似于:“芹菜工人--routing_key task.type1 --app = app" 队列配置: CELERY_QUEUES =(Queue列('myqueue',routing_key ='task.#'),)CELERY_DEFAULT_EXCHANGE_TYPE ='主题' 使用pika任务很容易 ..
发布时间:2021-04-21 20:01:30 Python