NIFI-在合并记录之前堆积的流文件 [英] Nifi - FlowFiles piling up before MergeRecord

问题描述

我在通过合并记录传递流文件时遇到问题。

这是流程(点击图片链接)：

Flow Queue

我已经尝试了配置设置的大多数排列，但似乎无论我做什么都无法将flow文件从队列中取出：

MergeRecord Configuration

有人知道阻止此合并记录传递流文件的原因吗？流文件当前似乎是文本文件，它们需要是JSON才能正确分组合并记录吗？

推荐答案

合并在表名上关联，这意味着它只会合并表名属性值相同的流文件。

但是，您总共只有10个回收站-这意味着如果有10个流文件与表1、2、3、4、5、6、7、8、9、10一起进入，则表示已达到最大回收站，因此在回收站释放之前，任何包含表11、12、13、14等的FlowFiles都不会被合并。他们只会坐在队列里等待。

此外，您的合并配置也仅设置为最小1和最大1000，这意味着在合并这些文件并释放bin之前，您需要具有TableName=Table1的1000条记录。

5000个FlowFiles组成3MB，我将假设每个FlowFiles没有太多记录，因此您不会填满1000个记录并释放任何回收箱。

因此，请仔细检查您的TableName属性是否按照预期进行了设置，并考虑修改用于控制合并的设置。您可以将最大记录数从1000降低到更快触发，也可以添加最大大小，或者添加最长时间来对其进行时间限制。

这篇关于NIFI-在合并记录之前堆积的流文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！