apache-nifi相关内容

Nifi JOLT 将字符串分隔为不同的元素和子元素

{“书籍":{“哈利波特":{“正文":“哈利波特有几本:/n-密室/n--国际象棋/n--狗/n-火焰杯/n--龙/n--扫帚"} } 上面的JSON对象.我想将文本字段转换为以下内容 有几本哈利波特书籍:-密室- 棋- 狗-火焰杯- 龙--扫帚 可以看到有一个标题，两个主题，两个副主题我想将每个分成以下类型的 JSON 对象 {“书籍":{“哈利波特":{“主题":“有几本哈利波 ..
发布时间：2021-11-12 03:58:55 其他开发

提取文件名并将名称存储在 csv 文件的新列中

我想提取文件名并将文件名存储在 CSV 文件的现有列之一中.这该怎么做?使用哪种处理器?什么配置?例如，我有一个文件名“FE_CHRGRSIM_20171207150616_CustRec.csv"，我想提取“FE_CHRGRSIM_20171207150616"并将此值存储在同一 CSV 文件中的现有列下.请帮忙.TIA 解决方案 通常“真实"文件名可用作名为“filename"的流文件 ..
发布时间：2021-11-12 03:58:52 服务器开发

Apache Nifi 如何使用嵌套数组 JSON 加载 JSON 并调用 Oracle 存储过程

我是 Nifi 的新手，但我有一些 JSON 数据，它是一个数据数组，在每个数组元素中，还有另一个嵌套的数组数据. 虽然我能够获取文件以加载 JSON，但我遇到的问题如下: 展平每个数组和嵌套数组 - 包含换行符的嵌套数组存在问题.我已尝试使用处理器将其删除，但未将其删除 提取需要的数据 要组织提取的数据，将其作为参数传递给 Oracle 存储过程以供执行 我已经使用了 Ge ..
发布时间：2021-11-12 03:58:49 数据库

MiNiFi - NiFi 连接失败:未知主机异常:能够从运行 MiNiFi 的机器 telnet 主机

我在我公司防火墙后面的 Linux Box(网关服务器)中运行 MiNiFi.我的 NiFi 在 AWS EC2 集群上运行(以独立模式运行). 我正在尝试将数据从网关发送到在 AWS EC2 中运行的 NiFi. 从网关，我可以使用公共 DNS 和我在 nifi.properties 文件中配置的远程端口 telnet 到 EC2 节点 nifi.properties # 站 ..
发布时间：2021-11-12 03:58:46 其他开发

如何在nifi中将主机头列入白名单?

尝试从负载均衡器访问 nifi 时，在 eks 集群中部署 nifi 出现以下错误: 系统错误 请求 [/nifi] 中包含无效的主机头 [abc.com]. 检查请求操纵或第三方拦截. 有效的主机头为 [空] 或: 127.0.0.1127.0.0.1:8443本地主机本地主机:8443::1nifi-deployment-59494c46dc-v4kk6nifi- ..
发布时间：2021-11-12 03:58:43 其他开发

使用 JoltTransform 在 nifi 中合并 json

我想在 nifi 中合并两个不同的 json.第一个 json 来自 json 处理器的一个属性，并且只包含一个 id，例如: {“id":“1234"} 第二个是这种结构的json: [{“id1":“1234"，“id2":“1234"，“id3":“1234"}，{“id1":“1234"，“id2":“1234"，“id3":“1234"}，{“id1":“1234"，“id2": ..
发布时间：2021-11-12 03:58:40 其他开发

具有重复键的嵌套 JSON

我每天必须使用 NiFi(1.9 版)处理 100 亿条嵌套的 JSON 记录.作为工作的一部分，我尝试使用 Groovy 脚本将嵌套的 JSON 转换为 csv.我参考了以下与同一主题相关的堆栈溢出问题，并提出了以下代码. Groovy 从地图和子地图收集 如何将json转换成键值完全使用 groovy 配对 但我不确定如何检索重复键的值.示例 json 在以下代码中的变量“j ..
发布时间：2021-11-12 03:58:37 其他开发

PublishJMS 处理器在将 json 消息发布到 IBM Websphere MQ 时失败

我在从 NIFI 的 PublishJMS 处理器中推送 json 消息时遇到问题. 注意:只是添加尝试过的各种处理器以查看是否可以修改属性，但没有任何帮助，我能够弄清楚问题只是因为我使用的是 ConsumeJMS &在同一流程中一起发布 JMS. 要发布的 JSON 消息: {"dataprepcomplete":{"modelfamilytype":"property","gro ..
发布时间：2021-11-12 03:58:33 其他开发

无法获得连接，池错误超时等待 PutSQL 中的空闲对象?

我已将 PutSQL 处理器的并发任务增加到“10". 当时它显示以下错误但没有数据丢失. 由于 org.apache.nifi.processor.exception.ProcessException 导致处理失败:org.apache.commons.dbcp.SQLNestedException:无法获得连接，池错误超时等待空闲对象；回滚会话: 如果我删除了并发任务，那么它就可以正 ..
发布时间：2021-11-12 03:58:27 其他开发

putSql处理器后executeSql失败

我的用例是查询一组表的一组数据并将其插入到一个表中.所以我的 nifi 处理器基本上是这样的: executeSql(查询数据集) >>> convertAvrotoJson >>>> convetJSONtoSQL(转换为插入语句) >>>> putSQL (插入语句) >>> executeSQL(删除与第一个处理器查询相关的行表) 问题出在最后一个 executeSQL 处理器中 ..
发布时间：2021-11-12 03:58:25 数据库

通过 Apache Knox 网关访问 Apache NIFI REST API (jwt)

我正在寻找资源来配置 Apache KNOXTOKEN 服务以访问 Apache NIFI REST API. 我已经配置了 KNOXSSO，并且能够通过它访问 NIFI UI.但是，我找不到可以通过 Curl 和 JWT 安全访问 NIFI REST 服务的资源. 感谢指点. 解决方案 对这里的其他建议稍作调整... 与 KnoxSSO 集成时，NiFi 接受 cook ..
发布时间：2021-11-12 03:58:22 其他开发

apache nifi 中的 SSL 上下文服务

大家早上好我制作了一个使用 GetHttp 和 PostHttp 的 apache Nifi 项目.问题是发生了错误:我在谷歌上找过，但我不明白该怎么做?什么是 SSL 证书?如何添加? 解决方案 您需要创建和配置一个 SSLContextService 供处理器使用，以便它可以与 DataSift 服务提供的证书建立信任.curl 之所以有效，是因为它为您绑定了默认的系统信任库. ..
发布时间：2021-11-12 03:58:19 其他开发

nifi:如何更改json的值?

我有处理器 InvokeHTTP，它给出 json 结果.例如: {“修订" : {“clientId":“dc572274-4b71-11b6-e415-b91e391bcf4d"，“版本":7},"id": "dc572260-4b71-11b6-0371-f73573ab44fe","uri": "http://x.x.x.x:9090/nifi-api/processors/dc5722 ..
发布时间：2021-11-12 03:58:16 其他开发

Jolt 转换 - 匹配不同分支中的值 - JSON

我想在 Nifi 中使用 Jolt 处理器实现以下 JSON 转换 输入 JSON {“顶层": {“secondLevelA":{“第三层A":[{"norsemen": "huntinSouth",“价值":“AAA"},{"norsemen": "huntinNorth",“价值":“BBB"}]},“secondLevelB":{“第三层B":[{"norsemen": "hunt ..
发布时间：2021-11-12 03:58:13 其他开发

如何使用 NiFi 中的新 DBCPConnectionPoolLookup 列出一组数据库中的数据库表?

从 NiFi 1.7.1 开始，新的 DBCPConnectionPoolLookup 启用数据库连接的动态选择:设置属性 database.name onFlowFile 并且当消费处理器访问配置的 DBCPConnectionPoolLookup 控制器服务时，该属性的内容将用于通过此查找的配置属性获取连接，其中包含潜在值到 DBCPConnectionPool 控制器服务. 我想列出我 ..
发布时间：2021-11-12 03:58:09 Java开发

如何使用 NiFi 将字符串转换为 JSON 数组

在 NiFi 中，我正在处理一个包含以下属性的流文件: 键:'my_array'值:'[u'firstElement', u'secondElement']' 我想在这个数组上拆分 flowFile 以分别处理每个元素(然后合并).我尝试使用 SplitJson 处理器，但它需要操作 JSON 内容，所以我在它之前使用了 AttributesToJSON.不幸的是，产生的 flowFile 的 ..
发布时间：2021-11-12 03:58:06 其他开发

MiNiFi - NiFi 无法与主机通信:端口连接超时

我在我公司防火墙后面的 Windows 服务器中运行 MiNiFi.我的 NiFi 在 Hortonworks 集群上运行(3 个节点，例如:sj46、sj47、sj48). 我正在尝试将数据从 MiNiFi 发送到 NiFi. MiNiFi 版本:0.4 NiFi 版本:1.5 在 MiNiFi 中，我有 ListFile 处理器、FetchFile 处理器和 RemoteP ..
发布时间：2021-11-12 03:58:04 其他开发

为什么 ExecuteSQLRecord 需要很长时间才能开始在大表上输出流文件?

我正在使用 ExecuteSQLRecord 处理器转储具有 100 多万条记录的大表 (100 GB) 的内容. 我已经设置了如下属性.但是，我注意到的是，在我看到来自该处理器的任何流文件之前需要 45 分钟的时间? 我错过了什么? 我使用的是 NiFi 1.9.1 谢谢. 解决方案 ExecuteSQL(Record) 甚至 GenerateTableFetch ..
发布时间：2021-11-12 03:58:00 其他开发