如何对Spring Batch进行聚合？ [英] How to do aggregation with Spring Batch?

问题描述

我正在尝试弄清楚如何使用Spring Batch进行聚合。 例如，我有一个带有名称列表的CSV文件：

name
John
Amy
John
Ryan

我想要文本文件中的姓名计数：

name, count
Amy, 1
John, 2
Ryan, 1

根据我从Spring Batch学到的，ETL批处理过程(itemReader->ItemProcessor->ItemWriter)更像是map-duce行话中的映射阶段。如何在Spring Batch中执行Reduce(聚合)阶段？

Spring Batch是要使用的正确工具吗？或者我应该用电光来做这个？谢谢。

推荐答案

ItemProcessor通常用于过滤、验证或将数据从一种类型映射到另一种类型，但也可以用于任何类型的处理，如您的案例中的计数。对于您的示例，项目处理器可以保存name -> count的映射，并在名称通过管道时对其进行计数。

面向块的处理模型不直接映射到map-duce模型。但是，分区正是您要寻找的。StepExecutionSplitter和StepExecutionAggregator是在本地或远程执行类似map-duce操作的关键概念。有关这方面的更多详细信息，请参阅参考文档的Partitioning部分。

与此问题类似的问题，我在此添加以供参考：Howto aggregate on full data set in Spring Batch jobs?

希望这对您有帮助。

这篇关于如何对Spring Batch进行聚合？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！