ExecuteSQL 和 ExecuteSQLRecord 的区别
我试图了解两个处理器 ExecuteSQL 和 ExecuteSQLRecord(V1.8 及更高版本)之间的区别.是否有其他东西是后者提供的而 ExecuteSQL 没有的?我已经看到的一件事是 ExecuteSQL 不维护“状态".ExecuteSQLRecord 会处理它吗? 解决方案 两个处理器共享大量代码，唯一真正的区别是 ExecuteSQL 只将结果输出为 Avro，而 Ex
..
apache-nifi相关内容
在 NiFi 中将两个 JSON 流文件合并在一起
我想合并两个包含相同指定属性的 JSON 对象的流文件... 流程 1: 属性:xuuid = 123456内容:{"sname":"杰克","id":"00001",“州":“纽约"} 流程 2: 属性:xuuid = 123456内容:{"国家":"美国",“日期":“1983"} 我希望在单个输出流中使用这种形式的数据: desired_flow: 属性:xuui
..
Nifi- 使用 ExecuteStreamCommand 并行和并发执行
目前，我在具有 4 个内核的边缘节点上运行 Nifi.假设我有 20 个传入的流文件，并且我为 ExecuteStreamCommand 处理器提供了 10 个并发任务，这是否意味着我只能获得并发执行或同时执行和并行执行? 解决方案 在这种情况下，您将获得并发和并行，如 Apache NiFi 用户指南(强调): 接下来，Scheduling Tab 提供了一个名为的配置选项并发任务
..
在我的流程中了解 NIFI 中的通知和等待过程
我是 NIFI 流程的新手，在我目前的工作中，我有通知和等待流程.有人可以帮我理解这个流程 Notify 工作的依据是什么.在我的情况下，我们有 4 个模式文件进程和 4 个数据文件.以下详细信息是通知属性.. 以下是等待属性: ***我明白了，等待进程在寻找8个信号以继续处理下一级进程.但从技术上讲，这将如何运作并不确定. 如果有人提供有关此过程的详细技术级别解释，我们将
..
根据 NiFi 中的内容更新属性
如何在开发 Apache NiFi 定制处理器时向当前流文件添加属性. 我想要做的是使用计算值向当前流文件添加新属性(或至少更新当前属性). 或者是否有我可以使用的已经构建的处理器? 解决方案 NiFi 支持多种创建和更新属性的方法，具体取决于您希望使用的数据源.一些通用处理器包括: UpdateAttribute - 使用静态值和 NiFi 的表达式语言更新流文件的属性.
..
Telegraf 尾部带有 grok 模式错误
我正在使用 Telegraf 从 Apache NiFi 获取日志信息，对于此任务，我正在使用此配置: [[inputs.tail]]##文件拖尾.文件 = ["/var/log/nifi/nifi-app.log"]## 从头读取文件.from_beginning = 真#name_override = "nifi_app"## https://github.com/influxdata/te
..
在 nifi usgae 的 Evaluate jsonpath 处理器中是否会因为属性创建而影响性能
我正在尝试将 nifi REST API 与我的应用程序集成.因此，通过映射我的应用程序的输入和输出，我试图调用 nifi REST api 来创建流.因此，在我的用例中，大多数时候我会提取 JSON 值并应用表达式语言. 因此，为了简化所有用例，我使用评估 JSONpath 处理器来使用 jsonpath 获取所有属性，并在提取处理器中应用表达式语言函数.下面是相关的流程图. 这是正
..
如何在“ExecuteGroovyScript"处理器中使用“DBCPConnectionPoolLookup"控制器服务
我想根据发送到 ExecuteGroovyStript 处理器的输入流文件中的“database.name"属性访问多个数据库. 在“ExecuteGroovyStript"处理器中，我有一个指向“查找"服务的属性“SQL.clientdb".同时，我委托了一个“DBCPConnectionPool"服务，其中包含所有必需的详细信息，其“name"属性类似于“database.name"的值
..
NiFi 使用 ConvertRecord 将 json 转换为 csv
我在 apache nifi 中有一个包含动态字段(最多 11 个字段)的 json 流，我想将其转换为 csv 文件. 示例 json: {"field1":"一些文本","field2":"一些文字","field3":"一些文字","field4":"一些文字","field5":"一些文字","field6":"一些文字","field7":"一些文字"} 我不想使用替换或 js
..
如何将一个 CSV 中的一行与另一个 CSV 文件中的所有行进行比较?
我有两个 CSV 文件: Identity(no,name,Age) 有 10 行 Location(Address,no,City) 有 100 行 我需要提取行并使用 Location CSV 文件检查 Identity 中的 no 列. 从 Identity CSV 文件中获取单行并检查 Identity.no 和 Location.no 在 Location CSV 文
..
Nifi - “连接被拒绝"安装后在gui中
我正在安装一个带有嵌入式 zookeeper 的三节点非安全 nifi 集群 (1.5). 安装完成，集群启动和选举已经完成，没有任何明显问题. 但是，当我点击 gui 时，我看到以下内容: javax.ws.rs.ProcessingException:java.net.ConnectException:连接被拒绝(连接被拒绝) 在 nifi-apps.log 中有:
..
与 ArangoDB 配合使用的 ETL 工具 - 它们是什么?
那里有很多 ETL 工具.免费的并不多.在那里的免费选择中，他们似乎对 ArangoDB 没有任何了解或支持.如果有人处理过将他们的数据迁移到 ArangoDB 并自动执行此过程，我很想听听您是如何做到这一点的.下面我列出了我们对 ETL 工具的几种选择.这些选择实际上是我从 Bas Geerdink 的 2016 年 Spark Europe 演讲中选择的. * IBM InfoSphere
..
NIFI - QueryDatabaseTable 处理器.如何查询被修改的行?
我正在研究 NIFI 数据流，其中我的用例是获取 mysql 表数据并将其放入 hdfs/本地文件系统. 我构建了一个数据流管道，其中使用了 querydatabaseTable 处理器 ------ ConvertRecord --- putFile 处理器. 我的表架构 ---> id,name,city,Created_date 即使我在表中插入新记录，我也能在目的地接收文
..
Apache Nifi:有没有办法使用消息键作为多个属性的组合将消息发布到 kafka?
我有一个要求，我需要读取 CSV 并以 Avro 格式发布到 Kafka 主题.在发布过程中，我需要将消息键设置为两个属性的组合.假设我有一个名为 id 的属性和一个名为 group 的属性.我需要我的消息键是 id+"-"+group.有没有办法在 Apache nifi 流中实现这一点?将消息键设置为单个属性对我来说很好用. 解决方案 注意每个属性上的 (?)s 指示什么是允许或不允许
..
基于 Json 属性在单个流文件中对 json 数组进行排序:Apache Nifi
我一直在尝试 nifi 并想知道如何按属性对 json 数组进行排序.我有这样的 Json [{“name":"Backham","createdDate":"2018-05-07 06:30:09"},{“name":"Rooney","createdDate":"2016-05-1219:50:03"},{“name":"Ronaldo","createdDate":"2019-01-0
..
使用 Apache Nifi 将数据从 vertica 传输到 Redshift
我想使用 apache nifi 将数据从 vertica 传输到 redshift.我需要设置哪些处理器和配置? 解决方案 如果 Vertica 和 Redshift 有“表现良好"的 JDBC 驱动程序，您可以设置一个 DBCPConnectionPool 对于每个，然后是 SQL 处理器，例如 ExecuteSQL, QueryDatabaseTable 或 GenerateTabl
..
如何在 Nifi getMongo 查询字段中获取 ISO 字符串
我正在尝试使用表达式语言在 Nifi getMongo 查询字段中使用以下查询生成 ISO 字符串， {“提醒我日期":{"$gte": "${now():format("yyyy-MM-dd'T'HH:mm:ss.SSS'Z'",'GMT')}","$lte": "${now():toNumber():plus(359999):format("yyyy-MM-dd'T'HH:mm:ss.SSS
..
Nifi加密json
我想使用 nifi 来加密 json 中的属性而不是密钥，因为我想将数据上传到 mongodb 服务器.有没有办法做到这一点?对于该项目，我使用 Twitter 数据作为概念证明.到目前为止，我已经使用 EvaluateJsonPath 处理器只提取了推文的文本，我可以加密这个文本，但是生成的 json 不再有密钥.Nifi 可以重新创建一个将密钥附加到我提取的属性的 json 吗?有没有更好的方
..
如果表具有日期时间偏移值，则 ExecuteSQL 不选择表?
我创建了具有数据类型 -dateTimeOffset 值的单列的表并插入了一些值. create table dto (dto datetimeoffset(7))插入到 dto 值 (GETDATE()) -- 以 0 偏移量插入日期和时间插入到 dto 值 (SYSDATETIMEOFFSET()) -- 当前日期时间和偏移量插入 dto 值 ('20131114 08:54:00 +10:
..
如何将流文件属性传递给控制器服务?
你好 Internet Hive Mind！ 我需要使用 nifi 查询 AWS Athena，但是我需要为每个发送的查询更改暂存目录(S3 存储桶和保存结果的文件夹). 但是必须在 DBCPConnectionPool 控制器服务上设置 s3_staging_dir 属性.如何为每个不同的流文件更改该属性的值?显然不能单独通过表达式语言来获取. 谢谢！ 解决方案 我不确
..