celery相关内容

在后台运行一个 celery worker

我正在像这样运行一个芹菜工人: celery worker --app=portalmq --logfile=/tmp/portalmq.log --loglevel=INFO -E --pidfile=/tmp/portalmq.pid 现在我想在后台运行这个工人.我尝试了几件事，包括: nohup celery worker --app=portalmq --logfile=/tmp/p ..
发布时间：2022-01-08 13:10:21 其他开发

如何使用 PyCharm 在本地调试 Celery worker?

我有一个带有 virtualenv 的现有 Django 项目.激活 venv 后，我可以使用命令 celery 运行 Celery.这适用于 Windows、OS X 和 Linux. 我想在 Windows 上试用 PyCharm，我可以让它运行我的 Django 服务器(使用项目的 venv)，但我也想运行 Celery，所以我也可以调试它. 我找不到简单、直接的 PyCharm ..
发布时间：2022-01-08 09:48:36 Python

如何在 PyCharm 中启用远程 celery 调试?

我正在尝试查找有关如何在远程机器上的 celery 进程中启用 PyCharm 调试的说明.远程机器运行的是 Ubuntu 14.04. 我正在运行 PyCharm 4.x. 我看到一些其他信息暗示其他人可以使用它，但无法找到任何适当的说明. 解决方案 您可以有一个 Run Configuration 来运行您的 celery 工作人员，然后您可以通过以下方式进行调试点击 de ..
发布时间：2022-01-08 09:46:37 Python

为什么我在 Scrapy 中出现 KeyError?

我在 Celery 中使用 Scrapy 蜘蛛，我随机收到此类错误 未处理的错误回溯(最近一次调用最后一次):文件“/usr/lib/python2.7/site-packages/twisted/internet/base.py"，第428行，在fireEvent中DeferredList(beforeResults).addCallback(self._continueFiring)文件“/ ..
发布时间：2022-01-04 21:06:44 Python

即使主要任务失败也运行和弦回调

是否可以运行 chord 回调，即使主要任务失败? 我创建了一个和弦，我添加了一堆任务并注册了一个回调给它.我的问题是，如果其中一个任务失败，则不会触发回调，但我希望以任何一种方式触发回调. 我尝试使用 si() 注册回调(不变性) callback = tasks.run_delete_rule.si([timestamp])header = [tasks.run_update_r ..
发布时间：2022-01-03 08:32:40 Python

使用来自 Celery 任务的 SocketIO 进行服务器推送

我有一个 flask 应用程序，其中有许多长时间运行的异步任务(~小时).与客户端沟通这些任务的状态很重要. 我使用 celery 来管理后台任务队列，我目前正在尝试通过 socketIO 从每个后台线程向客户端广播更新.这可能吗?是否有更适合的策略来实现我的愿望? 解决方案 你没有说，但我假设你打算使用 Flask-SocketIO 来处理服务器端 SocketIO 而不是官方的 ..
发布时间：2021-12-30 22:34:48 Python

使用 Celery 与 RQ 的利弊

目前我正在从事需要实现一些后台作业(主要用于电子邮件发送和大量数据库更新)的 python 项目.我使用 Redis 作为任务代理.所以在这一点上我有两个候选人:Celery 和 RQ.我对这些作业队列有一些经验，但我想请你们分享使用这些工具的经验.所以. 使用 Celery 与 RQ 的优缺点是什么. 适合使用 Celery 与 RQ 的任何项目/任务示例. Celery 看起来很 ..
发布时间：2021-12-28 09:57:24 Python

在设置大量计时器或使用计划任务队列之间寻找解决方案

我正在构建一个服务(一个游戏)，其中一组用户将在一个房间中，在该房间中，它将通过每个用户在特定持续时间(例如 30 秒)内做出选择.如果用户在该时间内没有做出选择，该服务将自动为该用户生成一个选择.如果在持续时间结束之前做出选择，那么下一个用户就开始了，计时器应该重置. 一次可能有数百甚至数千个这样的房间/游戏在进行. 我想知道如何实现这一点，我愿意使用 Javascript 或 Py ..
发布时间：2021-12-28 09:55:06 其他开发

如何使用 ssl 设置 Docker redis 容器

我正在关注本教程. 就我而言，我在 Docker 环境中运行，并且我有一个安全站点(即 https://localhost).这需要安全的 ssl 通信. 为了安全连接，我调整了 web 和 celery 容器. 但是我不知道如何配置Redis容器以实现与ssl的安全连接 请注意，当我在 web 和 celery 容器中没有 ssl 连接的情况下运行时，连接很好. 如何使用 ..
发布时间：2021-12-28 09:48:32 其他开发

禁用 celery 工人的八卦，混合和心跳有什么后果?

禁用八卦、交流和心跳对我的 celery 工人有什么影响? 为了减少发送到 CloudAMQP 的消息数量以保持在免费计划内，我决定关注 这些建议.因此，我使用了选项 --without-gossip --without-mingle --without-heartbeat.从那时起，我的所有 celery 项目都默认使用这些选项，但我不确定是否有任何我不知道的副作用. 请注意: ..
发布时间：2021-12-28 09:35:32 Python

Celery 为每个任务创建一个新的连接

我使用 Celery 和 Redis 来运行一些后台任务，但是每次调用一个任务时，它都会创建一个到 Redis 的新连接.我在 Heroku 上，我的 Redis to Go 计划允许 10 个连接.我很快就达到了这个限制，并收到了“达到的最大客户数"错误. 如何确保 Celery 在单个连接上对任务进行排队，而不是每次都打开一个新连接? EDIT - 包括完整的回溯 文件“/app ..
发布时间：2021-12-28 09:34:17 Python

我可以使用 Tornado+ Celery+ RabbitMQ + Redis 吗?

对于网络上的实时数据流，我计划使用 Redis 作为我的缓存数据层，其中数据是即时的.Celery 是队列管理器，RabbitMQ 是从 Redis 排队并到达 Tornado 层的代理.该层然后通过 websockets 流到前端. 我从来没有在网上找到过Redis + RabbitMQ的组合.有人可以为相同的可靠解决方案提供指导.问题是这种整合是否可行且可取? 解决方案 我现在非 ..
发布时间：2021-12-28 09:29:58 Python

Django Celery 获取任务数

我目前正在使用 django 和 celery，一切正常. 但是，如果服务器过载，我希望能够通过检查当前计划的任务数量，让用户有机会取消任务. 我怎样才能做到这一点? 我使用 redis 作为代理. 我刚刚发现了这个:检索 Celery 队列中的任务列表 它在某种程度上与我的问题有关，但我不需要列出任务，只需计算它们:) 解决方案 如果你的broker配置为r ..
发布时间：2021-12-28 09:26:39 Python

如何按任务名称检查和取消 Celery 任务

我使用 Celery (3.0.15) 和 Redis 作为代理. 是否有一种直接的方法可以查询 Celery 队列中存在的给定名称的任务数量? 并且，作为后续，有没有办法取消 Celery 队列中存在的所有具有给定名称的任务? 我已经阅读了监控和管理指南在那里看不到解决方案. 解决方案 # 检索任务# 参考:http://docs.celeryproject.org/e ..
发布时间：2021-12-28 09:23:12 Python

您可以在 redis 中存储的最大值大小是多少?

有谁知道你可以在redis中存储的最大值大小是多少?我想使用 redis 作为带有 celery 的消息队列来存储一些需要由另一台服务器上的工作人员处理的小文档，并且我想确保这些文档不会太大. 我找到了一个引用 1GB 的页面，但是当我点击页面上的链接以获取他们获得该答案的位置时，该链接不再有效.这是链接: http://news.ycombinator.com/item?id=118 ..
发布时间：2021-12-28 09:20:15 其他开发