spring-batch相关内容

Spring批处理中的JdbcPagingItemReader没有给出正确的结果

我遇到的问题是，我从 query 和 pagination 配置中返回了记录，但我给出了错误的记录号.分页配置不正确. 分页返回较少的记录. 查询等效于分页配置 select * from SOME_TABLE where CLIENT_FILE_NM= 'process_abc.20150617024850' AND TXN_ID IS NOT NULL AND SOME_DATA ..

发布时间：2020-05-22 02:39:11 spring oracle spring-batch 数据库

春季批块项目读取器和写入器发生表锁定

我正在使用spring batch data loader.我有15000个文件，使用多资源分区程序仅处理一个文件，似乎在尝试向表中插入数据时发生了表锁定，这里没有定义并行步骤.文件处理非常慢.以下是块项目读取器和写入器的代码段以及表锁定的sql输出. Spring配置文件 ..

发布时间：2020-05-22 01:28:07 oracle oracle10g spring-batch 数据库

Spring Batch ORA-08177:运行单个作业(SERIALIZED隔离级别)时，无法序列化对此事务的访问

我在Spring Batch的JobRepository上遇到了SERIALIZED隔离级别的异常: org.springframework.dao.CannotSerializeTransactionException: PreparedStatementCallback; SQL [INSERT into DATAFEED_APP.BATCH_JOB_INSTANCE(JOB_INSTA ..

发布时间：2020-05-21 22:48:42 oracle spring-batch isolation-level 数据库

使用Spring Batch通过Progress解决最大长度或精度

我正在使用spring batch，我需要从使用进度数据库的旧系统中查询数据. 但是我有这个异常java.sql.SQLException:[DataDirect] [OpenEdge JDBC驱动程序] [OpenEdge]表PUB中的Ag-Obs-conf列.议程的值超过了其最大长度或精度. 我可以在选择中使用SUBSTR来部分解决此问题，但是我需要数据库中的所有数据. 而且 ..

发布时间：2020-05-20 21:35:30 java spring spring-batch openedge progress-db Java开发

是否有适用于MySQL的Spring Batch 3升级脚本?

我还没有看到执行MySQL的Spring Batch 2-> 3所需的DDL修改脚本.好奇是否存在? 解决方案 对模式进行快速比较后，这些似乎是从Spring Batch 2.2.7.RELEASE-> 3.0.1.RELEASE升级的更改. MySQL. ALTER TABLE `BATCH_JOB_EXECUTION` MODIFY COLUMN `EXIT_CODE` varc ..

发布时间：2020-05-15 01:12:33 java mysql spring spring-batch Java开发

Spring Batch-多文件资源-与单线程花费相同的时间?

我正在使用Spring Batch将数据从XML迁移到Oracle数据库. 使用单线程执行时，过程大约需要80-90分钟才能插入20K用户. 我希望将其减少一半以上，但是即使使用多文件资源，我也无法实现. 我有一个要处理的XML，因此我只需添加 就可以开始. 任务执行器，使Reader同步但无法获得收益. 所以我在做什么，我将XML拆分为多个XMLS，并想尝试使用多文件 ..

发布时间：2020-05-14 01:50:35 multithreading spring-batch partitioning multifile 其他开发

Spring Batch线程安全的Map作业存储库

Spring Batch文档说了支持地图的内容作业库: 请注意，内存中的存储库是易失性的，因此不允许在JVM实例之间重新启动.它还不能保证同时启动两个具有相同参数的作业实例，并且不适合在多线程Job或本地分区的Step中使用.因此，只要需要这些功能，就可以使用存储库的数据库版本. 我想使用Map作业存储库，我不关心重启，防止并发作业执行等问题，但是我要做关心能够使用多线程和本地分区. ..

发布时间：2020-05-14 00:39:18 multithreading spring-batch partitioning 其他开发

在主线程执行完成后，弹簧批处理线程不返回

我是弹簧批的新手.我已经通过使用多个线程从spring创建并成功执行了作业，并且工作正常，只是在程序执行完成时，程序流不会结束/停止.即，即使main方法的最后一条语句执行完毕，程序也不会退出.我不确定它是否继续等待线程完成或执行什么操作.有人可以对此提出建议吗? “下面是我的作业配置文件 ..

发布时间：2020-05-13 23:29:05 multithreading spring spring-batch 其他开发

将FlatFileItemReader与TaskExecutor结合使用(线程安全)

有很多示例将FlatFileItemReader与TaskExecutor一起使用.我在下面提供了示例(都带有XML和Java Config): 在Spring Batch中使用Oracle Coherence Spring批处理多线程示例 我将XML配置用于大型CSV(GB大小)，并使用现成的JpaItemWriter将其用于数据库.即使不设置save-state = false或 ..

发布时间：2020-05-13 23:14:31 java multithreading thread-safety spring-batch flat-file Java开发

Spring批处理多线程

我正在编写一个Spring Batch，并在需要时对其进行扩展. 我的ApplicationContext看起来像这样 @Configuration @EnableBatchProcessing @EnableTransactionManagement @ComponentScan(basePackages = "in.springbatch") @PropertySource(value ..

发布时间：2020-05-13 22:44:35 java multithreading spring spring-batch Java开发

异步接收来自MQ的多条消息

我在应用程序中使用Spring + Hibernate + JPA. 我需要从Websphere MQ中读取消息，并将消息插入DB. 有时可能有连续的消息可用，有时消息的数量很少，有时我们期望没有来自Queue的消息. 当前，我正在逐一阅读消息并将其插入数据库.但这对性能没有太大帮助. 我的意思是当我有大量消息时(例如Queue中的300k消息)，我无法更快地插入它们.每秒插入数 ..

发布时间：2020-05-13 20:48:18 multithreading parallel-processing spring-batch spring-jms mq 其他开发

Spring Batch:转换为多线程时出现问题(混合数据)

也许这是一个经常性的问题，但是我需要根据自己的情况进行一些自定义. 我正在使用Spring Batch 3.0.1.RELEASE 我的工作很简单，有一些步骤.第一步是这样的一个块: ..

发布时间：2020-05-13 20:47:20 multithreading spring parallel-processing thread-safety spring-batch 其他开发

带有多租户的Spring Batch

我们如何定义春季批处理作业以针对多个租户运行? 我已设置为每天晚上针对当前一个数据库模式按顺序运行一系列作业.当前所有作业都从某个位置读取文件并插入数据库.批处理配置非常基本，其中定义了数据源，事务管理器并将其映射到作业存储库.我的工作将指向此存储库和事务管理器.另外，我目前正在将批处理元数据信息保留在数据库中. 我的新要求是能够对多个租户运行相同的作业(按顺序执行).每个租户数据可以 ..

发布时间：2020-05-13 20:26:55 spring batch-processing spring-batch spring-integration multi-tenant 其他开发

相当于Spring Batch中的作家的MongoDb吗?

我正在跟踪用于创建批处理服务的Spring文档.它使用JdbcBatchItemWriter实现ItemWriter，所以请您帮我用MongoItemWriter编写与以下代码等效的MongoDb吗? 我发现两个 @Configuration @EnableBatchProcessing public class BatchConfiguration { // tag::readerwriterp ..

发布时间：2020-05-11 01:38:29 java spring mongodb spring-batch spring-data-mongodb Java开发

Spring Batch-如何在不同的架构上创建元数据表?

我希望在同一MySQL主机上创建Spring Batch Metadata table，但使用不同的架构. 我想在 Test 架构上创建特定于应用程序的表，并在 batchmetadata 架构上创建元数据表. 错误: java.lang.IllegalStateException: Failed to execute CommandLineRunner at org.spri ..

发布时间：2020-05-09 01:50:15 spring spring-boot spring-batch metadata 其他开发

合并2个文件中的行并使用Spring Batch将其写入数据库

我有File1.csv，具有ID，名称，年龄列. File2.csv具有ID列，名称.在这两个文件中，ID均指相同的值，并且是唯一的. 样本数据 File1.csv id name age 101 abc 30 102 def 25 File2.csv id designation 101 manager 102 Assist ..

发布时间：2020-05-09 00:49:42 merge spring-batch composite 其他开发

使用Maven运行应用程序

我正在尝试使用maven运行应用程序.我对此很陌生.我安装了它，并且工作正常.我无法运行它.我在控制台中收到以下错误:- 由于以下错误，无法从存储库:Central检索到"org.apache.maven.plugins"的存储库元数据:中央:错误传输文件:连接超时:connect [警告]无法从资源库中央(http://repo1.maven.org/maven2)获取资源"org.ap ..

发布时间：2020-05-07 23:35:51 maven-2 spring-batch 其他开发

Spring Batch Admin(2.0.0.M1):创建bean batchMBeanExporter时出错

我正在尝试从Spring Boot应用程序运行spring batch admin. 我正在使用Michael(@mminella)的这个很好的例子.此应用程序可以正常工作. 但是，我需要使用maven进行类似的应用程序；我继续并用相同的文件，作业，配置和依赖项创建了一个.但是我最终出现了以下异常情况. 我看到的唯一区别是spring-batch-core的版本.使用maven的 ..

发布时间：2020-05-07 21:00:19 spring maven spring-batch spring-batch-admin 其他开发

我应该为整个索引打开Lucene IndexWriter还是在添加每个文档后关闭Lucene IndexWriter?

每次添加文档后关闭Lucene IndexWriter会减慢我的索引编制过程吗? 我想，关闭和打开索引编写器会减慢我的索引编制过程，或者对于Lucene而言不是真的吗? 基本上，我在Spring Batch作业中有一个Lucene Indexer步骤，并且正在ItemProcessor中创建索引.索引器步骤是一个分区步骤，我在创建ItemProcessor时创建了IndexWriter ..

发布时间：2020-05-04 08:00:15 java lucene spring-batch Java开发

我们可以将Lucene IndexWriter序列化为Spring Batch的ExecutionContext吗?

此问题与要保留 IndexWriter 在分区步骤的持续时间内打开，我想在分区器的ExecutionContext中添加IndexWriter，然后在StepExecutionListenerSupport的afterStep(StepExecution stepExecution)方法中关闭. 我在这种方法中面临的挑战是ExecutionContext需要对象可序列化. 鉴于以下两个 ..

发布时间：2020-05-04 08:00:11 java serialization lucene spring-batch Java开发