task-queue相关内容

为什么Google App Engine任务可能会被虚假地执行多次?

为什么Google App Engine任务可以多次执行? 根据来自Google I / O 2009的Brett Slatkin讲话 ,即使没有服务器故障,任务也可能会虚假地运行两次! 这与虚假的线程唤醒有关? 解决方案 Brant Slatkin给了 2010年I / 0类似演讲。 我不知道他曾经详细说明过会发生什么或什么时候发生。他的观点是,由于任务队列的工作方式,可以 ..
发布时间:2018-05-03 19:42:55 其他开发

针对动态后端的任务经常失败,无声无息

我已经将某些任务转换为在动态后端上运行。 这些任务正在悄悄失败[没有记录错误,没有重试,没有任何内容]〜20%时间(分钟:10%,最大:60%,样本:大,长期)。将任务从后端切换回来可以恢复重试,并将故障率恢复到〜0%。 有什么想法? 解决方案 将它转换为后端会加剧问题,但问题不在这里。 我指定了一个 task_retry_limit ,队列是一个推送队列。通过后端指定实 ..
发布时间:2018-05-03 19:37:46 其他开发

在Google App Engine TaskQueue中获取任务

我知道您可以在Dashboard或开发服务器控制台中查看当前正在排队并正在运行的任务。但是,有没有办法以编程方式获取该列表?文档只描述如何将任务添加到队列中,而不是如何列出和/或取消它们。 请在python中。 解决方案 它当然不是这样。如何改变任务处理程序,无论它处理任务url调用,检查指定的工作是否仍然需要完成,并且如果任务将被删除,立即返回200 OK。 此问题在谷歌代码 ..
发布时间:2018-05-03 19:19:41 Python

有没有办法知道一组应用程序引擎任务队列任务已完成?

是否有一种方法可以确定一组Google App Engine任务(以及它们产生的子任务)何时完成了? 假设我有100个任务需要执行,其中10个分别产生了10个子任务。这是200个任务。我们还要说,这些子任务可能会产生更多任务,递归等等。 有没有办法确定所有任务何时完成?我尝试过使用应用引擎管道API,但它看起来并不适合我的特殊用例,即使它是一个很棒的API。 我的用例是,我想在写 ..
发布时间:2018-05-03 19:15:10 其他开发

任务排队,重试时没有任何反应(没有日志)

我注意到在Google App Engine的任务队列中有超过1,000个任务排队等候。当我点击“立即运行”时,似乎没有发生任何事情,日志条目中没有错误等。我加倍检查了一切,但一切似乎都很好。唯一可疑的是我在任务队列控制台的“上次运行”标签下,显示“Last http response code:404”。尽管404,URL看起来很好,我可以在浏览器中调用它。而且,这些任务也按预期运行。没有日志, ..
发布时间:2018-05-03 18:53:01 其他开发

如何在Google App Engine中使用模块并使用Task Queue(Java)向其添加目标?

我的任务超过了任务队列超过10分钟的最后期限。通过不同的文档,我发现使用模块我可以运行一个实例来处理长时间运行的任务,但最好甚至应该使用任务队列来完成。我曾经使用后端,但它们已被弃用。 我的问题是如何将模块引入到我现有的App Engine项目中,以及如何使用它们来运行长时间运行的任务 以下是一段代码: 队列队列= QueueFactory.getQueue( “myQueue中 ..

Google App Engine中长时间运行的程序

我用Java编写了一个servlet代码,用于从存储在Google Cloud Storage中的文件读取一行代码。一旦我读完每一行,我就将它传递给预测API。一旦我得到通过文本的预测。我将它追加到原始行,并将其存储在Google云存储中的其他文件中。 此源文件是csv,拥有超过10,000条记录。由于我分别解析它,将它传递给预测API,然后存储回云存储。这需要很多时间。由于App Engi ..

当所有任务完成时,异步写入appengine blob并完成它

我有一个难题。 我遍历一组按日期参数化的URL并获取它们。例如,以下是一个示例: somewebservice.com?start=01-01-2012&end=01-10-2012 有时,从URL返回的内容会被截断(缺少随机附带的'截断错误'消息),因为我定义了太大的范围,所以我必须将查询分解为两个网址 somewebservice.com?start=01-01-201 ..
发布时间:2018-05-03 18:38:13 其他开发

GWT上的Google App Engine任务队列

我正在研究Google App Engine的Java新任务队列API,我很难将其与我的GWT应用程序相关联。如果我想使用任务队列来执行一些异步处理,我应该怎么做,使用GWT。 我看到它的方式,我必须发送一个服务器请求,然后将提交到任务队列API。如果我正确理解任务队列,则必须创建另一个servlet,以便从任务队列(作为worker)执行处理。 我在寻找2件事: 工作者是否是S ..
发布时间:2018-05-03 18:36:40 其他开发

NDB在长时间请求期间不清除内存

目前,我正在将一个长时间运行的作业卸载到TaskQueue中,以计算数据存储区中NDB实体之间的连接。 基本上这个队列处理几个与查询有关的实体键列表,这些列表由 node_in_connected_nodes 函数在 GetConnectedNodes 节点中: class GetConnectedNodes(object): “”“以分页方式从节点列表中获取连接节点的类”“” d ..

检查Google App Engine中任务队列的状态

我将几个任务放入任务队列中,并想知道具体任务何时完成。我在API中没有发现任何有关回调或检查任务状态的任何内容,所以我想我会看看其他人做了什么,或者是否有工作(或官方)方法来检查。我不关心个人任务,如果有帮助的话,我可以完成6个不同的任务,并且想知道所有6个任务完成的时间。 谢谢! / p> 解决方案 新的REST / JSON任务队列API可让您执行此操作。 http://co ..
发布时间:2018-05-03 18:32:29 Python

GAE:单元测试taskqueue与测试平台

当我在一个单元中向任务队列提交一个任务时测试,看起来任务在队列中,但任务不执行。 在单元测试期间如何获得要执行的任务? > 解决方案 开发应用程序服务器是单线程的,所以无法在前台线程运行测试时在后台运行任务。 我修改了taskqueue.py中的TaskQueueTestCase,添加了以下函数: def execute_tasks(self,application): ..
发布时间:2018-05-03 18:26:48 Python

指定使用GAE延期库排队的任务的重试限制

我们正在使用GAE 延期图书馆 a>,并想知道如何为那些卸载的任务设置重试限制。我们遇到了某些任务被重试的问题,因为任务不会由于某些不可恢复的异常而成功。 根据文档,可以使用 deferred.defer API的code> _retry_options 将重试选项传递给关联的 Task )实例: _countdown,_eta,_headers,_name,_target,_transa ..
发布时间:2018-05-03 18:25:02 Python

Google appengine:任务队列性能

我目前有一个在appengine上运行的应用程序,我正在使用延迟库执行一些作业,其中一些任务每天运行,而其中一些任务每月执行一次。这些任务中的大多数都会查询Datastore以检索文档,然后将实体存储在索引(Search API)中。其中一些表格每月都会更换一次,我必须在所有实体上运行这些任务(4〜5M)。 这样一个任务的一个例子是: def addCompaniesToIndex( ..
发布时间:2018-05-03 18:13:30 Python

Google App Engine:task_retry_limit不起作用?

我有一个Python GAE应用程序。 我希望我的任务停止运行,或者只是在失败时重试一次。现在,尽管我的yaml文件告诉他们,他们仍会永远运行! 以下是一个queue.yaml条目: - name:globalPurchase rate:10 / s bucket_size:100 retry_parameters: task_retry_limit:1 ..
发布时间:2018-05-03 18:12:21 Python

python中的KeyError GAE使用cron推送任务队列

我很接近完成一个使用GAE中的推送任务队列向用户发送后续电子邮件的项目。但是,我不断得到一个KeyError,不知道为什么。我一直在寻找好的模型,以我的项目为基础,但没有找到任何使用多个参数的体面的例子。 GAE文档在上个月有所改进,但仍有很多需要。 我在开发服务器中使用交互式控制台检查了很多代码但仍然我不知道我做错了什么。我最好的猜测是,参数不会传递到脚本的下一部分(类pushQueue) ..

如何使用q.js承诺与多个异步操作工作

请注意:这个问题也是跨张贴在Q.js邮件列表在这里 我曾与多个异步操作的情况和答案我接受指出,使用库如使用承诺q.js会更有利。 我相信重构我的code使用的承诺,但因为code是pretty久,我已经削减不相干的部分,并出口的关键零部件到一个单独的回购协议。 回购是这里和最重要的文件是的这个。 要求是,我想的页面大小是遍历所有dragged'n下降文件后,非空。 问题是,FileAPI ..
发布时间:2016-07-21 09:25:50 前端开发