spring-batch相关内容

spring 集成:连接多个 sftp 服务器的解决方案/提示?

我的spring批处理项目需要从多个sftp服务器下载文件.sftp 主机/端口/文件路径是 application.properties 文件中的配置.我考虑使用 spring 集成“sftp 出站网关"来连接这些服务器并下载文件.但我不知道如何进行这种配置(我正在使用 java config，)并使其工作?我想我需要一些方法来根据 application.properties 文件中 sftp ..
发布时间：2021-08-20 20:34:45 其他开发

Spring Batch - 读取多行日志消息

在我们配置了 spring 集成的 spring 批处理应用程序中，我面临将多行日志消息作为单个消息读取的问题，该应用程序必须将多行日志消息(示例异常堆栈跟踪)作为单个消息读取，稍后它必须处理和分类消息以进一步索引.每行由其时间戳标识(上面提到的模式，即 DATE_PATTERN)并且它可能会继续多行，我正在尝试继续读取消息，直到我通过覆盖看到另一个时间戳当第二行到达 preProcess 方法时 ..
发布时间：2021-08-20 20:33:05 其他开发

使用 Java DSL 在远程 S(ftp) 中移动已处理的文件

一旦批处理使用 Spring 集成和 Java DSL 成功处理了文件，我就会尝试在远程 SFTP 上移动文件. 实现这一目标的最佳方法是什么? 批量添加一个步骤来移动远程文件? 或者使用 FTP 出站网关并提供 MV 命令? 我倾向于使用第二种解决方案，让批处理只关注逻辑，但我很难用 java dsl 来实现它. 我已阅读http://docs.spring.io/sp ..
发布时间：2021-08-20 20:33:02 其他开发

使用 Spring Batch 读取一条记录/项目并写入多条记录/项目

我进行了一些搜索，但找不到任何示例/示例. 我要求读取一张表(输入)中的地理坐标，并对其进行处理以生成与坐标关联的 POI.因此，一个地理坐标将导致一个或多个 POI 需要插入到另一个表中(输出). 我目前正在使用 JdbcCursorItemReader 和 JdbcBatchItemWriter 读取一项/记录并写入一项/记录.还有一个 ItemProcessor 可以为给定的地理 ..
发布时间：2021-08-20 20:32:41 其他开发

CrudRepository 返回的记录的 ItemReader

我有一个 spring 批处理应用程序，其中读取器从外部数据库读取，处理器将其转换为目标数据库的 POJO，写入器将转换后的 POJO 写入目标数据库 我正在使用以下 CrudRepository public interface MyCrudRepository extends CrudRepository{列表findByPIdBetween(String from, String t ..
发布时间：2021-08-20 20:27:26 其他开发

使用 @JpaDataTest 测试 Spring 批处理

我正在使用 spring 批次 4.0，我正在尝试测试我的批次.我会将嵌入式数据库 h2 与 @JpaDataTest 一起使用，但它不起作用.当我添加此注释时出现错误 java.lang.IllegalStateException:在 JobRepository 中检测到现有事务.请修复此问题并重试(例如，从客户端删除 @Transactional 注释). @Test 上的@Tra ..
发布时间：2021-08-20 20:26:14 其他开发

Spring批处理后数据库会话仍然打开

我目前正在开发一个应用程序，它处理一个大文件并将其存储在带有 spring 批处理的 JPA 数据库中.这是应要求发生的.批处理完成后，您可以使用相同的服务来根据请求获取有关加载到数据库中的数据的信息. 这些请求单独工作，但如果我尝试将它们组合起来，当通过 TestEntityManger 持久化和刷新数据库中的实体时，我的单元测试中会出错. 错误是: javax.persisten ..
发布时间：2021-08-20 20:25:37 其他开发

带有 spring-data-jpa 的自定义 ItemReader

我正在使用现有实体和存储库创建 Spring 批处理项目.我需要为使用现有 jpa 存储库读取数据的作业使用自定义 ItemReader. 自定义阅读器 公共类 InMemoryReader 实现 ItemReader{@自动连线私人产品服务产品服务；私人 int nextStudentIndex;私人列表学生数据；公共 InMemoryReader() {初始化()；}私有无效初 ..
发布时间：2021-08-20 20:24:30 Java开发

不使用 spring 批处理 + spring boot + sql server 应用程序运行 DDL 脚本

我的项目有这个要求，用户上传一个必须推送到 sql server 数据库的 CSV 文件.我正在按照以下基本示例将 CSV 文件加载到 sql sever 数据库中.https://github.com/michaelcgood/Spring-Batch-CSV-Example通过更改数据源来运行这个 repo，这里我们使用 sql server 而不是内存数据库. 这是对 POM 文件的补 ..
发布时间：2021-08-20 20:21:48 其他开发

用于 Elasticsearch 扫描和滚动的 spring-batch ItemReader

在 spring-batch 中，是否支持 Elasticsearch ItemReader，使用扫描和滚动功能?我确实看到了 this 扩展，但是这是基于正常的弹簧数据搜索查询.有一个基于扫描和滚动功能的会很好，因为批处理作业主要需要处理大量数据.谢谢. 解决方案 import java.util.Iterator;导入 org.springframework.batch.item.da ..
发布时间：2021-08-20 20:20:59 其他开发

如何在@Transactional SpringBootTest 测试用例中测试 spring 批处理作业?

我今天好像赢不了... 有没有办法从 Spock SpringBootTest 集成测试中的 OneToMany 关系中读取数据，而无需将测试注释为 @Transactional 或添加不切实际的 spring.jpa.properties.hibernate.enable_lazy_load_no_trans=true? 或者，有没有办法从 @Transactional 测试用例中启动 ..
发布时间：2021-08-20 20:18:54 Java开发

Spring Boot 与 spring batch 和 jpa 的集成

我正在将 spring boot 项目与 spring 批处理和数据 jpa 项目集成.与作业和数据配置相关的所有内容都是正确的，除了将我的作业编写器结果保存在数据库中.读取文件并处理后，无法将其写入 mysql 数据库.没有错误，但也没有插入.有趣的是我的数据源已配置.因为在插入之前，我可以从数据库中获取样本记录.请帮助我解决这个问题. 我的 application.properties ..
发布时间：2021-08-20 20:13:59 其他开发

数据流任务不适用于 Spring Batch

我有 Spring Batch job，它也是数据流 task.当我运行此作业时，一切似乎都正常，在 Tasks > Executions 中，我可以看到任务已成功完成.另一方面，当我转到 Jobs 选项卡时，我收到此错误(在命令行中): java.lang.NullPointerException: null在 org.springframework.cloud.dataflow.server ..
发布时间：2021-08-20 20:09:35 其他开发

我应该如何使用 Spring Batch 和 Spring Cloud Data Flow 切片和编排可配置的批处理网络?

我们希望将一些 Kettle 导入作业的调度和顺序控制从专有实现迁移到 Spring Batch 风格的良好实践实现. 我打算使用 Spring Cloud Data Flow (SCDF) 服务器来实现和运行现有外部导入作业的可配置序列. SCDF 控制台任务编辑器 UI 似乎有望组装一个流程.所以一个 Task 包装了一个 Spring Batch，它在一个步骤中只执行一个 Tas ..
发布时间：2021-08-20 20:08:30 其他开发

Spring Cloud Dataflow Server 如何使用为 Spring 批处理和 Spring 云任务创建的新表(带有自定义前缀)?

我创建了 spring 云任务表，即 TASK_EXECUTION、TASK_TASK_BATCH 前缀为 MYTASK_ 和 spring 批处理表前缀 MYBATCH_ 在 oracle 数据库中. 在同一架构中也有默认表，这些表是自动创建的或由其他团队成员创建的. 我已将我的 Oracle 数据库服务绑定到部署在 PCF 上的 SCDF 服务器. 如何告诉 Spring C ..
发布时间：2021-08-20 20:08:24 其他开发

读取平面文件并写入多个写入不同对象的写入器

我需要读取一个平面文件并创建一个 TRADE java 对象.现在处理器应该基于 TRADE java 对象创建 3 个不同的 java 对象.我必须将这 3 个不同的 java 对象写入 3 个不同的 xml 文件. 我只想根据读取的数据读取 3 个处理器和 3 个写入多个 xml 文件. 我尝试了复合项编写器，但它会使用相同的对象进行写入.但是我有 3 个不同的对象使用者、信封、交 ..
发布时间：2021-08-20 20:01:53 其他开发

StaxItemReader 读取和打印值

我现在正在学习春季批次.我想使用 StaxEventItemReader 来读取 xml 文件所以我只是尝试在 java 透视图中的独立 java 文件中使用它和所有必要的 spring jar. 我想知道如何确保它是否读取了值以及读取了哪些值.简而言之，我想在 console 中打印读取值.我怎样才能在独立的java文件中做到这一点? 代码如下: main(){StaxEvent ..
发布时间：2021-08-20 19:57:43 Java开发