celery相关内容

单位测试用django-芹菜?

我试图提出我们的 django-celery 项目。我已阅读文档中的注释,但它并没有给我一个真正做什么的好主意。我不用担心在实际的守护进程中测试任务,仅仅是我的代码的功能。主要是我想知道: 如何绕过 task.delay()测试(我尝试设置 CELERY_ALWAYS_EAGER = True ,但没有区别)? 我们如何使用推荐的测试设置(如果这是最好的方法)而不改变我们的settings ..
发布时间:2017-05-28 06:20:04 Python

如何通过AWS Elastic Beanstalk可扩展的Django应用程序来运行芹菜工作者?

如何使用django与Elastic Benastalk,也可以在主节点上运行芹菜的任务? 解决方案 我使用 django 在弹性beanstalk上设置芹菜,扩展性正常。 为芹菜工作者和节拍配置添加bash脚本。 添加文件 root_folder / .ebextensions / files / celery_configuration.txt : code>#/ u ..

如何列出芹菜中的排队物品?

我在Ubuntu EC2节点上有一个Django项目,我一直在使用 Celery 来设置异步。 我正在追踪 http://michal.karzynski.pl/blog/2014/05/18/setting-up-an-asynchronous-task-queue- for-django-using-celery-redis / 以及文档。 我已经能够在命令行中使用以下功能获得基本 ..
发布时间:2017-05-28 05:59:27 Python

如何在django中设置celeryconfig文件

我有在Ubuntu EC2节点上的Django项目,我一直在使用 Celery 来设置异步。我一直在努力追随 http://michal.karzynski.pl/blog/2014/05/18/setting-up-an-asynchronous-task-queue-for-django-using-celery-redis/ 我已经能够在命令行中使用以下工具获取基本任务: (en ..
发布时间:2017-05-28 05:47:53 Python

如何在远程系统上配置和运行芹菜工作者

我正在芹菜处理和使用rabbitmq服务器,并在服务器中的django项目中创建了一个项目(消息队列,数据库存在),并且它工作正常,我已经创建了多个工作人员 从$ k code $ c从$ k $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ b pack pack pack pack pack pack pack pack pack pack pack ..
发布时间:2017-05-28 05:27:20 Python

在Django-Celery中停止/清除定期任务

我已经设法通过对PeriodicTask进行子类化来定期在django-celery中工作。我试图创建一个测试任务,并设置它运行无用的东西。有用。 现在我无法阻止。我已经阅读了文档,我无法找到如何从执行队列中删除任务。我尝试使用celeryctl和使用shell,但是registry.tasks()是空的,所以我看不到如何删除它。 我已经看到建议我应该“撤销”它,但对于这一点,我似乎需 ..
发布时间:2017-05-28 04:14:48 其他开发

从Java与Django / Celery进行互操作

我们公司有一个基于Python的网站和一些基于Python的工作者节点,通过Django / Celery和RabbitMQ进行通信。我有一个基于Java的应用程序,它需要向Celery的工作人员提交任务。我可以从Java发送工作到RabbitMQ,但是Celery的工作人员从来没有收到工作。从查看两种类型的作业提交的数据包捕获,有差异,但我不能理解如何解释它们,因为很多是二进制的,我找不到有关解 ..
发布时间:2017-05-28 03:42:27 Java开发

Django芹菜日志记录最佳实践

我试图让Celery日志记录使用 Django 。我在 settings.py 中设置了日志设置以进入控制台(正常情况下,我在)。在每个模块的顶部,我有: import logging logger = logging.getLogger(__ name__) 在我的tasks.py中,我有: from celery.utils.log import get_ ..
发布时间:2017-05-28 03:33:09 Python

在运行我的任务之前,如何设置Celery调用自定义初始化函数?

我有一个Django项目,我试图使用Celery提交后台处理任务( http://ask.github.com/celery/introduction.html )。 Celery与Django集成很好,我已经能够提交自定义任务并获取结果。 唯一的问题是我找不到合适的方式在守护程序进程中执行自定义初始化。在开始处理任务之前,我需要调用一个昂贵的函数来加载大量内存,而且每次都无法调用该函数。 ..
发布时间:2017-05-28 03:28:26 Python

在芹菜3.1中,做django定期任务

在Django中,事情变化太大了,所以我不能使用3.1。我需要一些帮助。 我阅读了关于在django中进行任务,并阅读定期任务文档。但我不知道如何在django中定期执行任务。我认为这是因为我的低级英语.. 在旧版本的Celery中,我导入了 djcelery & crontab ,并在 settings.py 中设置CELERYBEAT_SCHEDULE,并由 manage.py 排 ..
发布时间:2017-05-28 02:45:45 其他开发

芹菜任务和定制装饰

我正在使用django和芹菜(django-celery)进行一个项目。我们的团队决定将所有数据访问代码包含在(app-name)/manager.py 中(不会像 django 方式),并且让(app-name)/task.py中的代码只处理与芹菜的组合和执行任务(所以我们在这个层没有django ORM依赖)。 在我的 manager.py 中,我有这样的东西: def get_ ..
发布时间:2017-05-28 01:57:05 Python

报告产生了长期运行的Celery任务的结果

问题 我将一个长时间运行的任务划分为逻辑子任务,所以我可以在完成后报告每个子任务的结果。然而,我正在尝试报告一个任务的结果,这个任务将无法完成(而是产生价值),而我正在努力地利用我现有的解决方案。 背景 我正在为一些我编写的Python程序构建一个Web界面。用户可以通过网络表单提交作业,然后查看工作的进度。 我有两个功能,每个功能都通过单独的窗体访问: med_fu ..
发布时间:2017-05-28 01:45:49 Python

分布式任务队列(Ex。Celery)与crontab脚本

我无法理解“分布式任务队列”的目的。例如,python的芹菜库。 我知道在芹菜中,python框架,你可以设置定时窗口以使函数得到执行。然而,也可以在针对python脚本的linux crontab中轻松完成。 据我所知,从我自己的django-celery webapps中可以看出,芹菜消耗的RAM内存要远远多于设置一个原始的crontab。对于相对较小的应用程序,几百MB的差异。 ..
发布时间:2017-05-28 00:49:13 Python

运行“唯一”芹菜的任务

我使用芹菜来更新我的新闻聚合站点中的RSS源。我使用一个@task为每个饲料,并且似乎工作很好。 有一个细节,我不知道如何处理好:所有饲料都更新一次每一分钟都有一个@periodic_task,但是如果在新的启动时,Feed仍然从最后一个定期任务更新,该怎么办? (例如,如果Feed真的很慢,或离线,并且任务保持在重试循环中) 目前,我存储任务结果并检查其状态: / p> im ..
发布时间:2017-05-27 23:49:55 Python

在芹菜任务中运行Scrapy蜘蛛

我有一个Django网站,当用户请求时发生刮擦,我的代码在一个新的过程中启动了Scrapy蜘蛛独立脚本。自然而然,这并不适用于用户的增加。 这样的一个例子: class StandAloneSpider(Spider): #a常规蜘蛛 settings.overrides ['LOG_ENABLED'] = True #更多设置可以更改.. crawler = Cr ..
发布时间:2017-05-27 23:37:25 Python

如何安排任务在特定时间使用芹菜进行?

我已经研究了 PeriodicTask ,但是这些例子只包括使其重复出现。我正在寻找一些更像“code”cron 的能力,说“每个星期一凌晨1点执行这个任务”的一些东西。 解决方案 最近发布的版本1.0.3现在支持这一点,谢谢Patrick Altman! 示例: $来自celery.task.schedules导入crontab 从celery.decorators导入perio ..
发布时间:2017-05-27 23:17:01 Python

取消已经执行的任务与芹菜?

我一直在阅读文档和搜索,但似乎找不到一个直接的答案: 你可以取消已经执行的任务吗? (如任务已经开始,需要一段时间,一半的时间需要取消) 我从文档中发现了这个芹菜常见问题 >>> result = add.apply_async(args = [2,2],countdown = 120) >>> result.revoke() 但我不清楚这是否会取消排队的任务,否 ..
发布时间:2017-05-27 23:01:02 Python

通过pdb调试djcelery的celeryd

有没有人尝试使用pdb调试celeryd worker?每当遇到断点时(通过pdb运行celeryd,或者通过 pdb.set_trace()),我会遇到以下错误: 处理动作事件时出错。 追溯(最近的最后一次呼叫): 文件“/home/jeeyo/workspace3/uwcr/subscriptions/tasks.py”,第79行,process_action_event func ..
发布时间:2017-04-18 02:57:32 Python

如何在PyCharm中启用远程芹菜调试?

我正在尝试找到有关如何在远程计算机上的芹菜进程中启用PyCharm调试的一些说明。远程机器正在运行Ubuntu 14.04。 我正在运行PyCharm 4.x。 一些其他暗示其他信息的信息可以正常工作,但无法找到任何适当的指令。 解决方案 您可以一个运行配置运行您的芹菜工作人员,然后允许您通过单击调试按钮。这是我如何在PyCharm 5中设置的: 您需要设置一个远程pyt ..
发布时间:2017-04-17 22:54:40 Python

对未响应的Flask路由的呼叫设置超时(已更新)

我目前在Flask应用程式中有一个路径,可从外部伺服器撷取资料,然后将结果推送至前端。外部服务器偶尔会慢或无响应。什么是在路由调用上设置超时的最佳方法,以便前端不会挂起,如果外部服务器滞后?或者有更合适的方法来处理Flask中的这种情况(不是Apache,nginx等)? 我的目标是超时一个路由调用, 保持任意长的进程,如此SO问题:超时问题与铬和烧瓶。选项如websockets运行后台进程 ..
发布时间:2016-12-26 21:04:19 Python