celery相关内容

访问脚本主模块中定义的python类变量

我有一个django项目,使用芹菜进行异步处理。我正在使用python 2.7。 我的django项目中有一个模块 client.py 中的类: / p> #client.py class客户端: def __init __(self): #code用于打开持久连接并将连接客户端保存在类变量 ... self.client = ..
发布时间:2017-05-30 19:11:22 Python

django-celery在开发中起作用,在wsgi生产中失败:如何调试?

我正在使用django芹菜任务队列,它在开发中工作正常,但在wsgi生产中却没有。更令人沮丧的是,它使用在生产中工作,但我以某种方式打破了它。 “sudo rabbitmqctl status”告诉我,rabbitmq服务器工作中。 django中的所有东西似乎都是peachy:创建对象,并将路由到任务管理器没有问题。但是,他们的状态就像无限期的“排队”一样。我写了我的代码的方式,一旦从芹菜 ..
发布时间:2017-05-30 18:03:43 其他开发

如何立即运行芹菜时间表?

我有一个这样配置的芹菜计划: CELERYBEAT_SCHEDULE = { “running-every-30-seconds”:{ “task”:“tasks.refresh”, “schedule”:timedelta(hours = 1) }, } 测试后,我发现这个时间表在1小时后开始,但我想运行1小时后立即安排。 解决方案 如果您的意思是启动时,请在 ..
发布时间:2017-05-30 17:37:21 Python

延迟使用Mandrill send_at或Celery倒计时/ eta发送电子邮件

我通常发送交易电子邮件来回应我网站上的某些操作,其中一些我延迟发送几个小时。实际排队邮件的功能是使用 .delay()调用的Celery任务函数,最终使用 djrill 。 我发现Mandrill提供了一个 send_at 参数发送一个电子邮件,将Mandrill延迟发送电子邮件,直到指定的时间。当调用 eta 或倒计时参数en / latest / reference / celery.a ..
发布时间:2017-05-30 16:55:08 Python

“连接拒绝”与芹菜

我在Ubuntu EC2节点上有一个Django项目,我一直在使用 Celery 来设置异步。 我正在追踪如何在芹菜中列出排队的物品?以及文档,在命令行中尝试芹菜。 我已经能够在命令行中使用以下功能获得基本任务: (env1)ubuntu @ ip-172-31-22-65:〜/ projects / tp $ celery --app = myproject.celery:ap ..
发布时间:2017-05-30 16:12:52 Python

Django / Celery的Sentry日志记录停止工作

我不知道有什么问题。到目前为止,伐木工作正常(我依靠这个),但似乎已经停止了。我写了一个小测试函数(这也不起作用): core.tasks.py 导入日志 from celery.utils.log import get_task_logger logger = get_task_logger(__ name__) logger.setLevel (log.DEBUG) ..
发布时间:2017-05-30 08:00:07 其他开发

用Celery(RabbitMQ,Django)检索队列长度

我在一个django项目中使用Celery,我的代理是RabbitMQ,我想检索队列的长度。我经历了芹菜的代码,但没有找到这样的工具。我在stackoverflow上发现了这个问题(从客户端检查RabbitMQ队列大小),但是我没有发现它令人满意。 一切都在芹菜中设置,所以应该有一些魔术方法来检索我想要的,而不需要指定一个频道/连接 有没有人对此问题有任何想法? 谢谢! 解 ..
发布时间:2017-05-30 06:54:02 其他开发

如何让芹菜用同一个工人重试?

我刚刚在Django项目中开始使用芹菜,而且有些困扰着这个特殊的问题:基本上,我需要将一个长期运行的任务分配给不同的工作人员。这个任务实际上分为几个步骤,每个步骤都需要相当长的时间才能完成。因此,如果某些步骤失败,我希望芹菜使用同一个工作人员重新执行此任务,以便重复使用完成步骤的结果。我知道芹菜使用路由将任务分发到某些服务器,但是我找不到任何关于这个特定问题的东西。我使用RabbitMQ作为我的经 ..
发布时间:2017-05-30 06:51:03 Python

Django中所有Celery工作者/内存缓存中的全局可访问对象

任务上传相同的(我简化了一下),我有一个很好的标准Django + Rabbitmq + Celery设置,有一点)大文件(〜100MB)与多个远程PC异步。 所有这些都是正常的,但费用是使用大量的内存,因为每个任务/工作将该大文件加载到内存中。 我想做的是具有某种缓存,可访问所有任务,即只加载一次文件。基于locmem的Django缓存是完美的,但是像文档所说:“每个进程都有自己的私 ..
发布时间:2017-05-30 06:18:43 Python

如何在运行时创建芹菜队列,以便发送到该队列的任务被工作人员拿走?

我正在使用django 1.4,celery 3.0,rabbitmq 为了描述问题,我在系统中有很多内容网络,我想要一个处理任务的队列与这些网络中的每一个相关。 然而内容是在系统生效时即时创建的,因此我需要即时创建队列,并且现有的工作人员开始采集 我以下列方式尝试了调度任务(内容是django模型实例): queue_name ='content。{}'。format( ..
发布时间:2017-05-30 03:24:34 其他开发

[[Django Celery]]芹菜阻止了IO任务

我使用芹菜做一些IO任务,例如抓取远程图像,向用户发送电子邮件。 但是芹菜有时会被阻塞而没有日志。在这个时候,我不会做任何我发的任务。我必须重新启动它,它开始工作,阻止它。 它困扰我很长时间。我能做什么 ?分配IO任务的芹菜最好的做法是什么? 解决方案 从客户端。 对于IO挂起的任务,您的系统需要更大数量的并发处理 请求并发。这是命令: 芹菜 - 任务工作者 - 无心跳- ..
发布时间:2017-05-30 03:13:44 其他开发

Django Celery和多个数据库(Celery,Django和RabbitMQ)

我可以设置一个与Django Celery一起使用的不同数据库吗?我有一个项目配置有多个数据库,不希望Django Celery使用默认值。 如果我仍然可以使用django芹菜管理页面并读取存储在这个不同数据库中的结果,我将会很好:) 解决方案 应该可以使用Django数据库路由器为django-celery模型设置一个单独的数据库: https:// docs。 django ..
发布时间:2017-05-30 02:36:11 其他开发

python芹菜:如何将任务附加到旧链

从任务导入t1 ,t2,t3 从芹菜进口链 res = chain(t1.s(123)| t2.s()| t3.s())() res.get() 我如何将其他任务附加到这个特定的链? p> res.append(t2.s()) 我的目标是确保链条按照我在代码中指定的顺序执行。 如果一个任务在我的链中失败,以下任务不会执行。 知道我在指 ..
发布时间:2017-05-30 02:12:04 其他开发

芹菜工作者之间共享XMPP连接

我的网络应用程序需要能够发送XMPP消息(Facebook聊天),我认为Celery可能是一个很好的解决方案。一个任务包括查询数据库并将XMPP消息发送给多个用户。然而,使用这种方法,我每次运行一个任务时都必须连接到XMPP服务器,这不是一个好主意。 从 Facebook Chat API文档: 最佳实践 您的Facebook聊天整合应该仅用于预期会长时间的会话,住了。客户不应该 ..
发布时间:2017-05-29 22:53:45 Python