long-running-processes相关内容

如何使用Google Cloud PubSub和Run来处理资源密集型的长时间运行任务?

我有一个Google Cloud PubSub主题,它有时会有数千条消息,有时却是零条消息。这些消息表示每条消息可能需要一个小时以上的任务。我最好使用Cloud Run,因为它可以很好地根据需求进行扩展,如果发布了一千条消息,我希望启动100个Cloud Run实例。这些运行实例由推送订阅启动。问题是,PubSub有600秒的超时时间来确认。这意味着为了让Cloud Run处理这些消息,他们必须在 ..

长期运行的网络服务架构

我们使用axis2 来构建我们的网络服务和一个Jboss 服务器来运行我们所有应用程序的逻辑.我们被要求构建一个与 bean 对话的网络服务,该服务可能需要长达 1 小时的响应时间(取决于请求的大小),因此在此期间我们无法保持与消费者的连接. 我们可以使用异步 Web 服务,但效果并不理想,因此我们决定实现一个 bean,该 bean 将执行 Web 服务背后的逻辑并让服务异步调用该 bean. ..
发布时间:2022-01-07 12:26:12 Java开发

在 Windows 上运行任意子进程并仍然干净地终止?

我有一个应用程序 A,我希望能够调用用户在配置文件中指定的任意其他进程. 批处理脚本 B 是一个用户希望 A 调用的进程.B 设置一些环境变量,显示一些消息并调用编译器 C 来完成一些工作. Windows 是否为干净地终止任意进程提供了标准方法?假设 A 在控制台中运行并收到 CTRL+C.它可以将其传递给 B 和 C 吗?假设A在一个窗口中运行,用户试图关闭该窗口,是否可以取消B和 ..
发布时间:2022-01-02 19:23:32 其他开发

在 JSF 中单击按钮异步调用长时间运行的进程

我想通过单击用 JSF 和 Java 开发的按钮来执行存储过程.执行过程大约需要 30 分钟. 当用户点击这个按钮时,他/她应该得到一个默认的消息,比如 - 正在处理数据.请在 60 分钟后登录查看数据. 现在,当我们点击按钮时,UI 页面会在 proc 执行期间挂起. 是否有解决方法来显示此默认消息并在后端运行 proc? 解决方案 只需触发一个 @Asynchr ..
发布时间:2021-12-22 22:05:22 其他开发

带有队列的长时间运行的 REST API

我们正在实施 REST API,它将启动多个长时间运行的后端任务.我一直在阅读 RESTful Web 服务手册,建议返回 HTTP 202/Accepted 并带有指向正在处理的任务的 Content-Location 标头.(例如 http://www.example.org/orders/tasks/1234),并让客户投票此 URI 用于更新长时间运行的任务. 这个想法是让 REST ..

长时间运行的 ASP.NET 任务

我知道有很多 API 可以做到这一点,但我也知道托管环境(即 ASP.NET)限制了您可以在单独的线程中可靠地执行的操作. 我可能完全错了,所以如果我错了,请纠正我,但这就是我认为我所知道的. 请求通常会在 120 秒后超时(这是可配置的),但最终 ASP.NET 运行时会终止需要很长时间才能完成的请求. 托管环境(通常是 IIS)采用进程回收,并且可以随时决定回收您的应用.发生这种 ..
发布时间:2021-12-14 20:13:53 C#/.NET

MySQL - 我可以限制允许查询运行的最长时间吗?

我正在寻找一种方法来限制 mysql 服务器上查询的最大运行时间.我认为这可以通过 my.cnf 配置文件完成,但在文档中找不到任何相关内容.有谁知道这是否可以做到?谢谢. 解决方案 更新 从 MySQL 5.7 开始,您可以包含 MAX_EXECUTION_TIME 优化器提示在 SELECT 查询中指示服务器在指定时间后终止它. 据我所知,如果您想强制执行服务器范围的超时, ..
发布时间:2021-11-20 22:04:55 数据库

为什么 Promise 中的代码是同步执行的?

在我的项目中我有一个很长时间运行的操作,所以我决定把它放在一个Promise中,因为我认为这样我可以继续执行其他操作,而里面的代码Promise 正在运行. 调试时发现Promise外的代码只有在Promise内的代码执行完毕后才会执行. 下面是我在做什么在我的项目为例(它模拟一个长时间的操作,所以它需要一段时间): new Promise(function(resolve, r ..

适用于Azure App Service和.NET Core 3.1中长期运行的计算的解决方案?

对于不需要数据库且该应用程序外没有IO的应用程序中,对于Azure App Service和.NET Core 3.1中长时间运行的计算,什么是合适的解决方案?这是一个计算任务. 具体来说,以下内容不可靠,需要解决方案. [Route("service")][HttpPost]公共出站帖子(入站入站){Debug.Assert(inbound.Message.Equals("Hello服 ..

为什么查询花费的时间太长

我有一个查询,该查询应该返回大约10000行.数据库本身非常大.我运行了一个简单的查询,它在不到3秒的时间内返回了结果.但是,当更复杂的代码花费太长时间时. 在我的代码中,我完成了一个嵌套的select和一个case语句.但是,当我运行代码时,需要一个多小时才能返回结果.我该怎么办才能减少执行时间的代码. SELECT ticker_symb, day_sum_eff, cusip, ..
发布时间:2020-06-29 21:08:42 数据库

工作管理器线程约束和页面无法显示

我们对某些功能有占用大量内存的处理,并且我们希望将并行请求的数量限制为该处理.我们可以通过在WebLogic中使用“工作管理器"进行配置,并对该servlet的线程数进行限制. 例如,如果我们将最大线程限制设置为3,则如果有10个并行请求,则为0. 7个请求正在排队.在某些情况下,这些在队列中等待的请求可能需要多达30-40分钟的时间来处理.我们进行了简单的测试,由于15分钟后超时,无法显示 ..
发布时间:2020-06-29 21:08:38 其他开发

如何防止Sidekiq根据代码版本处理新作业?

我们正在将sidekiq工作者的版本部署到Cloud Foundry,作为持续交付管道的一部分.如果新工作不再是最新版本,我们必须停止工作.所以: Worker v1正在运行并执行30分钟的工作. 我们部署工作代码的第2版. v1应该继续当前的工作,但不能开始任何新的工作. CloudFoundry不允许我们发送 USR1 ,因此我们需要一个解决方案,使工人可以在每项工作开始之前确 ..

EMR中的资源优化/利用,可用于长时间运行的作业和多个小型运行的作业

我的用例: 我们有一个运行时间很长的Spark工作.在此之后,称为 LRJ .这项工作每周运行一次. 我们有多个随时可以执行的小型运行作业.这些 作业比长期运行的作业具有更高的优先级. 为解决此问题,我们如下创建了YARN队列: 创建了用于资源管理的YARN队列.为长时间运行的作业配置了Q1队列,为小型运行的作业配置了Q2队列. Config: Q1 : cap ..

如何在不进行PC爬网的情况下在VBA中执行长时间运行的过程?

我有一个VBA应用程序,该应用程序创建COM对象的实例,然后连续轮询对象的 DataReady 属性以查看是否有新数据.当有新数据可用时,它将数据粘贴到电子表格中.问题是此宏(vba子例程)持续运行,这会降低excel的爬网速度,并使计算机在进程运行时无法使用.有没有一种方法可以在单独的线程上启动此过程,或者执行.NET后台工作程序之类的方法? 我的两次尝试是使用while循环. Wh ..
发布时间:2020-06-29 21:08:28 其他开发

python长时间运行的守护进程作业处理器

我想编写一个长期运行的进程(linux守护程序),该进程有两个作用: 响应REST Web请求 执行可以安排的作业 我本来是将其作为一个简单的程序运行的,该程序可以运行并执行我随后进行的更新,但是现在我增加了REST要求,并且还想更改某些作业的频率,但是其他人(假设所有工作的频率不同). 我有0个编写长期运行的流程的经验,尤其是那些独立完成而不是响应请求的流程. 我的基本 ..
发布时间:2020-06-29 21:08:23 Python

在用户等待时(在Rails中)处理大量数据的最佳实践?

我有一个小书签,当使用小书签时,它将当前浏览器页面上的所有URL提交给Rails 3应用进行处理.在后台,我正在使用 Typhoeus 来检查每个URL是否返回2XX状态代码.目前,我是通过对Rails服务器的AJAX请求来启动此过程的,只是等待它处理并返回结果.对于较小的集合,这是非常快的,但是当URL的数量很大时,用户最多可以等待10到15秒. 我已经考虑过使用“延迟作业"在用户线程之外 ..

在Windows上运行任意子进程,仍然干净终止吗?

我有一个应用程序A,我希望它能够调用用户在配置文件中指定的其他进程. 批处理脚本B是一个用户希望由A调用的过程.B设置了一些环境变量,显示了一些消息,并调用了编译器C来完成某些工作. Windows是否提供了一种干净地终止任意进程的标准方法?假设A在控制台中运行并收到CTRL + C.可以将其传递给B和C吗?假设A在窗口中运行,并且用户试图关闭该窗口,它可以取消B和C吗? Ter ..
发布时间:2020-06-29 21:08:14 其他开发

将长时间运行的任务与异步/等待模式相结合的正确方法是什么?

我有一个“高精度"计时器类,我需要它能够启动,停止和启动.暂停/继续.为此,我将在互联网上找到的两个不同的示例联系在一起,但是我不确定我是否正确地使用了带有asnyc的任务/等待. 这是我的相关代码: //based on http://haukcode.wordpress.com/2013/01/29/high-precision-timer-in-netc/ public clas ..