spring-batch相关内容

Spring Batch Admin + Spring Boot-模糊映射.无法映射'org.springframework.batch.admin.web.JobController#1'方法

我正在尝试使用 spring-batch-admin使用Spring Batch Admin UI -样本 项目. 我的工作使用Spring Boot,并且我已经更改了主要应用程序类,以使用因此应用程序类看起来像 @SpringBootApplication(exclude = { HypermediaAutoConfiguration.class, Multipart ..

将Spring Batch Admin集成到现有应用程序中

我有一个使用Spring Batch和Spring MVC的应用程序.我可以将Spring Batch Admin单独部署,并与我的应用程序使用的数据库一起使用,尽管我希望将其集成到我自己的应用程序中,还可能会修改一些视图. 是否有一种简单的方法可以执行此操作,或者我必须将其分叉并从那里去吗? 解决方案 显然,根据 在web.xml中为Batch Admin定义Dispatcher ..
发布时间:2020-07-08 20:32:00 其他开发

Spring Batch-如何根据上一步中创建的参数生成并行步骤

简介 我正在尝试使用在tasklet中创建的jobparameters在执行tasklet之后创建步骤. tasklet尝试查找一些文件(findFiles()),如果找到一些文件,则将文件名保存到字符串列表中. 在小任务中,我按以下方式传递数据: chunkContext.getStepContext().getStepExecution().getExecutionConte ..
发布时间:2020-06-29 19:33:23 Java开发

如何在春季批处理中使用单个作业/JMSwriter在多个队列上发布

我是Spring Batch的新手,最近开始使用它. 我有一个要求,我需要使用单个Job在不同队列上发布/写入从每个DB记录读取的消息.因为我必须使用阅读器来读取数据库中的消息,并使用处理器来决定必须在哪个队列上发布它. 所以我的问题是我可以使用单个JMSwriter将消息发布到不同的队列中,因为我必须使用单个Job和DB Reader. 预先感谢 解决方案 据我所知,J ..
发布时间:2020-06-27 19:01:19 其他开发

org.springframework.batch.core.JobExecutionException:分区处理程序返回了不成功的步骤

我正在学习春季批处理,并且能够创建简单的单步应用程序( github回购链接) 此应用程序包含一个作业,该作业执行以下操作: 1.从csv文件读取人 2.小​​写他们的名字 3.将它们保存到数据库 现在我想学习分区功能,所以我添加了以下分区程序: @Component public class MyPartitioner implements Partitioner { ..
发布时间:2020-06-26 23:34:55 Java开发

从Spring Batch中使用IN和OUT参数调用StoreProcedure

我正在尝试从Spring Batch执行一个StoredProcedure,该存储过程具有两个参数,一个IN参数和OUT参数.我想要的是在调用存储过程时获取结果集和out参数. 我引用了 StoredProcedureItemReader 和 StoredProcedureItemReaderBuilder 我可以使用它来调用仅具有IN参数的存储过程,但是,在注册OUT参数之后我 ..
发布时间:2020-06-26 20:39:22 其他开发

春季批处理:传播在分区步骤中遇到的异常(停止作业执行)

背景 我目前有一个弹簧批处理作业,可读取平面文件。作业使用 MultiResourcePartitioner 读取已拆分为N个较小文件的文件的物理分区。这意味着文件的每个物理分区将导致执行一个新的从属步骤,该步骤将读取该分区。 问题 如果读取任何物理分区时遇到任何问题,则该从属步骤的执行将失败,并且该异常将由spring batch记录。这不会影响正在读取文件的不同物理分区的其余 ..
发布时间:2020-06-11 00:23:51 Java开发

如何处理从项目读取器引发的异常?

我想捕获从项目读取器抛出的异常(例如读取器未打开,不正确的令牌异常等)并进行处理。当前,春季批处理将它们作为致命的异常抛出,并脱离了这一步。 请让我知道是否有办法? 解决方案 我遇到了同样的问题,即我想抓住 org.springframework.batch.item FlatFileItemReader 抛出的.file.FlatFileParseException 并执行一些 ..
发布时间:2020-06-10 23:38:55 其他开发

Spring批处理,读取器如何工作?如果结果集发生变化?

我是springBatch分块的新手。我想了解阅读器的工作原理 这里是这种情况:实现清除用户帐户 块处理器: 有一个读取所有内容的阅读器与清除条件匹配的用户帐户(顺序)。 处理器:根据一些计算为每个用户帐户,它可能会创建一个新的用户帐户并更改当前记录(例如将其标记为已清除) 问题:读者如何工作?说我有5000个用户帐户。如果我的块大小为1000 读者将读取1000条记录,然 ..
发布时间:2020-06-08 18:44:47 其他开发

Spring Batch-并非从MQ检索中正在处理所有记录

我是Spring和Spring Batch的新手,请随时提出任何澄清的问题。 我看到了Spring Batch的一个问题我无法在测试或本地环境中重新创建。我们的日常工作是通过JMS连接到Websphere MQ,并检索一组记录。这项工作使用现成的JMS ItemReader。我们实现了自己的ItemProcessor,但是除了日志记录之外,它没有做任何其他特别的事情。没有过滤器或处理会影响传 ..
发布时间:2020-06-01 19:12:21 Java开发

Reg。作业级别的春季批处理作业的事务支持

让我们假设我需要执行2个步骤的Spring Batch作业。步骤1是从postgres表中读取数据并更新同一表中的值。第2步是从另一个postgres表读取数据并更新此表。在这种情况下,我如何在工作级别上完成事务? 也就是说,如果第二步失败,则应该回退第一步。 解决方案 您是否考虑过使用工作级事务性? 春季批处理中的工作级交易性 重要的是要考虑要管理的潜在卷大小,以避免超 ..
发布时间:2020-05-30 01:05:04 Java开发

如何在Spring Batch中发送自定义对象作为Job参数?

我需要向Spring Batch Job发送一个自定义对象,其中该对象被项目处理器连续用于业务需求. 我们如何将自定义对象从外部发送到作业上下文.此对象随作业而变化,并在运行时根据业务情况生成. 如何将其作为作业参数发送?还是有什么办法可以将此对象设置为相应的Job? 重载Spring JobParameter可以以任何方式帮助我吗?还是这种压倒性行为会导致任何大问题? 解 ..
发布时间:2020-05-24 22:38:31 其他开发

最佳Spring批量扩展策略

我们有简单的批处理流程,它们运行良好.最近,我们有新的要求来实施新的批处理过程以生成报告.我们有不同的数据源可供阅读以准备此报告.具体来说,我们可能对每个报告都有一个视图. 现在,我们希望以一种可以扩展的方式来扩展此过程,并尽可能早地完成它. 我熟悉多线程步骤,但不确定其他策略(远程分块和分区步骤)以及何时使用哪种策略. 在我们的案例中,处理+写入文件比读取更具资源动力. ..
发布时间:2020-05-24 21:02:38 其他开发

如何并行运行Spring Batch作业

我有一个工作流程,我想按以下方式运行它: Job1 -> Job2 -> Job3 -> Job4 -> Job5 作业流程将从Job1开始. 成功完成Job1之后,Job1将启动Job2和Job4. Job2和Job4将并行运行. Job2成功完成后,Job2将启动Job3. Job4成功完成后,Job4将启动Job5. 以下是job1.xml和Job1的工作 ..
发布时间:2020-05-24 20:54:07 其他开发

Spring Batch-并行运行多个作业

我是Spring批处理的新手,无法弄清楚该怎么做. 基本上,我有一个spring文件轮询器,该轮询器每N分钟运行一次,以在某些目录中查找具有某些名称(例如A.txt和B.txt)的文件.任何时候,此目录(A和B)中最多可以包含2个文件.通过Spring Batch Job,这两个文件将被处理并保存到2个不同的数据库表中. 这些文件有些相似,因此使用相同的处理器/写入器. 现在,按 ..

Spring Boot-重新启动后重新连接到数据库

我有一个Spring Batch应用程序,该应用程序每10分钟运行一次.它从REST API获取一些数据,然后将这些数据保存在数据库中. 好吧,我的问题在哪里? 有时数据库(Oracle)可能会重新启动或脱机(不知道,实际上).但是应用程序似乎没有重新连接到数据库.它只是处于空闲模式. Spring Boot:2.1.2.发布 application.yml看起来像这样: ..
发布时间:2020-05-22 03:00:51 数据库