celery相关内容

django芹菜 - 如何发送request.FILES ['照片']到任务

我正在尝试通过以下方式发送request.FILES ['photo'],一个上传的文件到tCelery: tasks.upload_photos.delay(img = request.FILES ['photo']) I得到一个pickle错误,因为它不能序列化它。发送文件到任务的方式是什么? 错误:“无法打开StringO对象” 谢谢。 解决方案 ..
发布时间:2017-05-29 22:52:25 其他开发

Django Celery在开始时击败了崩溃

最近我已经配置了一个新的RabbitMQ和Celery服务器。当我尝试在机器上启动Celerybeat时,它会启动几秒钟并停止。我已经对日志文件提供了正确的权限,并将所有者更改为应用程序用户。我也检查了celerybeat.log文件,并且没有注册错误。 我试图以这种方式在项目文件夹中启动: ./ manage.py celerybeat 我收到这个错误: ..
发布时间:2017-05-29 22:42:14 其他开发

Django,RabbitMQ,&芹菜 - 为什么在开发Django代码之后,Celery会运行旧版本的任务?

所以我有一个Django应用程序偶尔会向Celery发送一个任务来进行异步执行。我发现,当我开发我的代码时,Django开发服务器知道如何自动检测代码是否已更改,然后重新启动服务器,以便我可以看到我的更改。然而,我的应用程序的RabbitMQ / Celery部分并没有接受这些发展变化。如果我更改以后在Celery任务中运行的代码,Celery仍然会继续运行旧版本的代码。唯一的办法就是取得这个变化 ..
发布时间:2017-05-29 21:49:54 Python

RabbitMQ / Celery / Django内存泄漏?

我最近接管了我公司正在开展的项目的另一部分,并发现了我们的RabbitMQ / Celery设置中似乎是内存泄漏。 我们的系统有2Gb的内存,在任何给定的时间大约有1.8Gb的空闲。我们有多个任务可以收集大量的数据并将其添加到我们的数据库中。 当这些任务运行时,它们消耗了相当大量的内存,迅速萎缩了我们可用的记忆到16Mb到300Mb之间的任何地方。问题是,这些任务完成后,内存不会回来。 ..
发布时间:2017-05-29 21:26:41 其他开发

django-celery url提供的数据存储在哪里?数据可用多长时间?内存消耗是多少?

我正在使用django芹菜开始一个项目,我正在对'djcelery.urls'提供的任务URL进行ajax调用。 我想知道一个关于这些数据的事情很少: 该信息存储在哪里?是从django项目数据库中的djcelery表中调用还是保存在RabbitMQ服务器上?我对数据库中的djcelery表的理解是它们仅用于使用相机监视使用情况。 如果它存储在RabbitMQ服务器上,任务状态报 ..
发布时间:2017-05-29 20:48:07 其他开发

芹菜+ django - 如何将任务状态写入数据库

我正在使用Django和RabbitMQ运行Celery,并希望看到数据库表中的任务状态。不幸的是没有条目写入表djcelery_taskstate,我无法弄清楚为什么。 我的设置: CELERY_ENABLE_UTC = True BROKER_URL =“amqp:// guest:guest @ localhost:5672 /” CELERY_RESULT_BACKEN ..
发布时间:2017-05-29 20:46:09 其他开发

混合django-celery和独立的芹菜

我们正在运行一个使用Django和Piston构建的网站,我想实现芹菜将任务卸载到外部服务器。我真的不想在辅助服务器上运行Django,而只想运行一个纯Python芹菜工作者。我可以在Django服务器上编写简单的功能存根,并在二级服务器上写实际的功能逻辑吗? ie Django Side 从芹菜进口任务 @task send_message(fromUser = No ..
发布时间:2017-05-29 20:41:04 其他开发

什么是django-celery(djcelery)表?

当我运行syncdb时,我注意到很多表创建如下: djcelery_crontabschedule ... djcelery_taskstate django-kombu正在提供传输,所以它可以不能与实际的队列相关。即使我执行任务,我仍然看不到这些表中的任何填充。这些表用于什么?监控的目的 - 如果我启用它? 如果是这样,如果我做一个AsyncResult()的查找也是如此, ..
发布时间:2017-05-29 07:54:10 其他开发

通过pdb调试djcelery的celeryd

有没有人尝试使用pdb调试celeryd worker?每当遇到断点时(通过pdb运行celeryd,或者通过 pdb.set_trace()),我会遇到以下错误: 处理动作事件时出错。 追溯(最近的最后一次呼叫): 文件“/home/jeeyo/workspace3/uwcr/subscriptions/tasks.py”,第79行,process_action_event func ..
发布时间:2017-05-29 07:46:35 Python

在芹菜中使用Python标准日志记录

我必须在预先存在的系统中实施Celery。以前版本的系统已经使用了Python标准日志记录。 我的代码与下面的代码类似。过程一和过程二是非Celery函数,它们在任何地方进行日志记录。我们正在使用日志跟踪数据丢失,如果发生不好的事情。 @task def add(x,y ) process_one(x,y) process_two(x,y) 如何实现Celer ..
发布时间:2017-05-29 07:43:04 Python

如何获得芹菜中的所有任务和定期任务

可能重复: 如何在Python中找到给定类的所有子类? 在我的Django项目中,我有一些Celery的子类 Task 和 PeriodicTask : class CustomTask(Task): #stuff class CustomPeriodicTask(PeriodicTask): #stuff 我需要所有的Task类才能添加一些自定义日志 ..
发布时间:2017-05-29 07:15:08 Python

从芹菜任务接收事件

任务应以某种方式报告当前正在处理的项目,因此我有一个长时间运行的芹菜任务,它会遍历一系列项目并执行一些操作。最终用户知道任务的进度。 目前,我的django应用程序和芹菜座位在一个服务器上,所以我可以使用Django的模型来报告状态,但是我计划添加更多的离Django的工作人员,所以他们无法访问DB。 现在我看到几个解决方案: 使用一些存储(如redis或mongodb)手动存储 ..
发布时间:2017-05-29 06:52:57 其他开发

芹菜3.0.1中的框架错误

我最近从2.3.0升级到Celery 3.0.1,所有的任务运行正常。不幸。我经常遇到“框架错误”异常。我也运行主管重新启动线程,但由于这些从来没有真正的杀死主管无法知道芹菜需要重新启动。有没有人看过这个? 2012-07-13 18:53:59,004:错误/ MainProcess]不可恢复的错误:异常'框架错误,收到0x00而期望0xce') 追溯(最近的最后一次调用): 文件“/u ..
发布时间:2017-05-29 06:16:39 Python

RabbitMQ在EC2上消耗CPU数量

我试图让RabbitMQ与Celery和Django进行EC2实例做一些相当基本的后台处理。我在一个大的EC2实例上运行rabbitmq-server 2.5.0。 我根据说明书下载并安装了测试客户端这里(在页面底部)。我只是让测试脚本走了,并得到预期的输出: recving rate:2350 msg / s,min /平均/最大延迟:588078478/588352905/588 ..
发布时间:2017-05-29 06:12:50 其他开发

在生产中运行Django-Celery

我已经构建了一个Django Web应用程序和一些Django-Piston服务。使用Web界面,用户将某些数据发送到Web服务,该Web服务依次使用Django-celery启动后台任务。 一切正常在开发环境中使用manage.py。现在我试图将它移植到正确的apache服务器上。网络应用程序和Web服务在生产中工作正常,但是我担心这个问题是将celeryd作为一个守护进程启动。根据以下说 ..
发布时间:2017-05-29 05:36:18 其他开发

如何将身份验证和终结点添加到Django Celery Flower Monitoring?

我一直在本地使用花,看起来很容易设置和运行,但是我看不到我如何在生产环境中进行设置。 特别是,如何添加身份验证,以及如何定义一个url来访问它? 解决方案 对于自定义地址,使用 - 地址标志。 对于auth,请使用 - basic_auth 标志。 请参见下文: #芹菜花--help 用法:/ usr / local / bin /芹菜[选项] 选项: ..
发布时间:2017-05-29 05:32:03 其他开发

使用Celery实时,使用Gevent进行同步外部API查询

我正在使用一个Web应用程序,该应用程序将接收到一个用户的请求,并且必须使用一些外部API来撰写该请求的答案。这可以直接从主要网络线程使用类似gevent的方式来完成请求。 或者,我在想,我可以将传入的请求放入队列中,使用工人分配负载。这个想法将是尝试保持实时,同时分离几个工作人员的请求。每个这些工作人员只会查询许多外部API中的一个。他们接收到的响应将经过一系列变换,被保存到一个数据库中, ..
发布时间:2017-05-29 05:04:52 Python

运行Python的芹菜与Django弹性Beanstalk

我正在考虑采取弹性豆串(由于定价)。阻塞是我不知道如何在部署到服务的python应用程序(在我的情况下Django)中安装Celery。有没有人设法在Elastic Beanstalk上安装芹菜?如果是这样,请让我知道你是如何设法实现的,以及你使用什么工具。 解决方案 使用SQS服务。阅读:具有亚马逊SQS的芹菜 而这个: http://docs.celeryproject.o ..
发布时间:2017-05-29 04:54:54 Python