celery相关内容

在 Celery 任务中运行 Scrapy 蜘蛛

我有一个 Django 站点,当用户请求时会在该站点上进行抓取,并且我的代码在新进程中启动了 Scrapy 蜘蛛独立脚本.当然,这对增加用户不起作用. 像这样: class StandAloneSpider(Spider):#普通蜘蛛settings.overrides['LOG_ENABLED'] = True#更多设置可以更改...爬虫 = CrawlerProcess(设置)craw ..
发布时间:2021-12-02 19:41:57 Python

运行“独特"芹菜的任务

我使用 celery 更新我的新闻聚合站点中的 RSS 提要.我为每个提要使用一个 @task,一切似乎都运行良好. 有一个细节我不确定是否能很好地处理:所有提要每分钟更新一次@periodic_task,但是如果提要在启动新任务时仍在从上一个定期任务更新怎么办?(例如,如果提要真的很慢,或者离线并且任务处于重试循环中) 目前我存储任务结果并像这样检查它们的状态: 导入套接字从日期时 ..
发布时间:2021-12-02 19:33:17 Python

报告产生了长期运行的 Celery 任务的结果

问题 我已将长时间运行的任务划分为逻辑子任务,因此我可以在每个子任务完成时报告结果.但是,我正在尝试报告一项实际上永远不会完成的任务的结果(而是在执行过程中产生价值),并且我正在努力使用我现有的解决方案来做到这一点. 背景 我正在为我编写的一些 Python 程序构建一个 Web 界面.用户可以通过网络表单提交作业,然后返回查看作业进度. 假设我有两个函数,每个函数都通过单 ..
发布时间:2021-12-02 19:28:29 Python

用 Celery 取消一个已经在执行的任务?

我一直在阅读文档并进行搜索,但似乎无法找到直接的答案: 你能取消一个已经在执行的任务吗?(因为在任务已经开始,需要一段时间,中途需要取消) 我从 芹菜常见问题 >>>结果 = add.apply_async(args=[2, 2], 倒计时=120)>>>结果.revoke() 但我不清楚这是否会取消排队的任务,或者是否会杀死一个正在运行的进程.感谢您提供的任何光线! 解 ..
发布时间:2021-12-02 19:05:56 Python

Celery 不释放内存

看起来celery在任务完成后没有释放内存.每完成一个任务,就会有 5m-10m 的内存泄漏.因此,如果有数千个任务,很快就会耗尽所有内存. BROKER_URL = 'amqp://user@localhost:5672/vhost'# CELERY_RESULT_BACKEND = 'amqp://user@localhost:5672/vhost'CELERY_IMPORTS = ('ta ..
发布时间:2021-11-27 11:49:06 Python

如何设置 Celery 在运行我的任务之前调用自定义初始化函数?

我有一个 Django 项目,我正在尝试使用 Celery 提交任务进行后台处理(http://ask.github.com/celery/introduction.html).Celery 与 Django 集成良好,我已经能够提交我的自定义任务并返回结果. 唯一的问题是我找不到在守护进程中执行自定义初始化的理智方法.在开始处理任务之前,我需要调用一个加载大量内存的昂贵函数,我无法承受每次 ..
发布时间:2021-11-27 11:45:36 Python

如何从我的连接以外的其他通道恢复未确认的 AMQP 消息?

似乎我让rabbitmq 服务器运行的时间越长,未确认消息的麻烦就越大.我很想重新排队.实际上似乎有一个 amqp 命令可以执行此操作,但它仅适用于您的连接正在使用的通道.我构建了一个小 pika 脚本来至少尝试一下,但我要么缺少某些东西,要么无法通过这种方式完成(使用 rabbitmqctl 怎么样?) 导入鼠兔凭证 = pika.PlainCredentials('***', '***')参 ..
发布时间:2021-11-27 11:44:29 其他开发

芹菜与亚马逊 SQS

我想使用 Amazon SQS 作为 芹菜.Celery 依赖于 Kombu 的 SQS 传输实现.但是没有足够的文档来使用它,所以我找不到如何在 Celery 上配置 SQS.有没有人在 Celery 上成功配置过 SQS? 解决方案 我多次遇到这个问题,但仍然不完全确定如何设置 Celery 以与 SQS 一起工作.事实证明,使用最新版本的 Kombu 和 Celery 很容易.作为另 ..
发布时间:2021-11-27 11:10:30 其他开发

Celery:WorkerLostError:Worker 过早退出:信号 9(SIGKILL)

我在 Django 应用程序(在 Elastic Beanstalk 上)中使用 Celery 和 RabbitMQ 来管理后台任务,并使用 Supervisor 对其进行了守护进程.现在的问题是,我定义的一个周期任务失败了(在它正常工作一周后),我得到的错误是: [01/Apr/2014 23:04:03] [ERROR] [celery.worker.job:272] 任务 clean-de ..
发布时间:2021-11-27 09:57:13 其他开发

如何使用 AWS Elastic Beanstalk 可扩展的 Django 应用程序运行 celery worker?

如何将 Django 与 AWS Elastic Beanstalk 一起使用,同时也只能在主节点上通过 celery 运行任务? 解决方案 这是我在弹性 beantalk 上使用 django 设置 celery 的方式,可扩展性工作正常. 请记住,container_commands 的'leader_only'选项仅适用于环境重建或部署强>的应用程序.如果服务运行时间足够长,E ..
发布时间:2021-11-27 09:53:42 其他开发

您如何使用 AWS Elastic Beanstalk 运行工作线程?

我正在 AWS Elastic Beanstalk 上启动一个 Django 应用程序.我想运行后台任务或工作线程以运行 celery. 我无法找到是否可能.如果是,如何实现? 这是我现在正在做的事情,但这每次都会产生一个事件类型错误. container_commands:01_同步数据库:命令:“django-admin.py syncdb --noinput";leader_o ..
发布时间:2021-11-27 09:53:21 其他开发

多台服务器上的 django-celery 基础设施,代理是 redis

目前我们在单个云服务器上设置了所有内容,包括: 数据库服务器 阿帕奇 芹菜 redis 作为 celery 和其他一些任务的代理 等 现在我们正在考虑将主要组件分解为单独的服务器,例如独立的数据库服务器、媒体文件的独立存储、负载均衡器后面的 Web 服务器.原因是不要为一台繁重的服务器付费,而是使用负载均衡器按需创建服务器,以降低成本并提高整体速度. 我真的只对 cele ..
发布时间:2021-11-17 03:02:27 其他开发

是否可以将 celery 与 Kafka 集成

我想在我的代码中使用 celery 引入多处理.但目前我的队列实现是在 Kafka 中. 目前 celery 网站只提到了这 4 个经纪人:http://docs.celeryproject.org/en/master/getting-started/brokers/index.html#broker-overview 是否可以将 Celery 与 Kafka 集成类似于下面提到的 R ..
发布时间:2021-11-12 02:24:08 其他开发

如何使用 docker-compose 在分布式气流架构上配置 celery worker?

我正在建立一个分布式 Airflow 集群,其中除了 celery 工作人员之外的所有其他内容都在一台主机上运行,​​而处理则在多台主机上完成.使用 Airflow 文档 https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml .在我最初的测试中,当我在同一台主机上运行所有东西时,我让架构很好地工作.问题是 ..
发布时间:2021-10-26 17:57:30 其他开发

Celery 任务总是 PENDING

我尝试在带有 redis 后端的 Windows 上运行 Celery 示例.代码如下: from celery import Celeryapp = Celery('risktools.distributed.celery_tasks',后端='redis://localhost',broker='redis://localhost')@app.task(ignore_result=False ..
发布时间:2021-09-25 20:02:41 其他开发

让芹菜等待任务完成

我希望 celery 等待特定任务完成,因此我在 celery 本身旁边安装了 celery-results-backend.但我不明白我必须如何编写任务调用才能等待,因为我目前收到以下错误: example_task() 缺少 1 个必需的位置参数:'user_pk' views.py: def 示例(请求):用户 = request.user如果 request.method == 'G ..
发布时间:2021-09-04 19:34:13 其他开发

如何使用 Completed_count 跟踪 Celery 中的任务组完成情况?

我正在尝试使用“completed_count()"来跟踪 Celery 中一个组中剩余的任务数. 我的“客户"运行这个: 来自芹菜进口组从项目导入做单词列表=[]使用 open('word.txt') 作为 wordData:对于 wordData 中的行:wordList.append(line)readAll = group(do.s(i) for i in wordList)结果 ..
发布时间:2021-09-04 19:33:21 其他开发

未应用 Django Celery 更改

我的 django-celery 代码无法重新加载,我在看到一个据称已解决的错误后得出结论.谁能告诉我如何正确重启我的 Celery 服务器,或者问题是否仍然存在? 顺便说一下,在 Windows 10 上运行. 文件结构 |-- manage.py|-- nttracker\|-- celery.py|-- 任务.py|-- 设置.py 我还没有添加任何单独的配置文件. n ..
发布时间:2021-07-05 20:14:54 其他开发

ModuleNotFoundError:Windows 上没有名为“grp"的模块

当我从 Celery 文档中查看 Celery 实现时, celery -A 任务 worker --loglevel=INFO 给出了来自文档的意外输出, 文件“d:\101_all_projects\celery-testing\venv\lib\site-packages\celery\platforms.py",第 9 行,在导入 grp ModuleNotFoundError: ..
发布时间:2021-07-05 20:04:44 其他开发