apache-nifi相关内容

重命名 JSON 中的无效键

我在 NIFI 中有以下流程,JSON 中有 (1000+) 个对象. invokeHTTP->SPLIT JSON->putMongo 流程工作正常,直到我在 json 中收到一些带有“."的键.在名字里.例如“spark.databricks.acl.dfAclsEnabled". 我目前的解决方案不是最优的,我记下了坏键,并使用多个替换文本处理器来替换“."和 "_".我没有使用正 ..
发布时间:2021-11-12 03:55:56 其他开发

NIFI:从 json 获取值

我有一个 queryCassandra,它生成这样的 json: {"results":[{"term":"term1"},{"term":"term2"}..]} 现在,我想从中获取由字符串格式的某个分隔符分隔的所有术语值;前任 :学期1、学期2、学期3 所以我可以将此列表作为字符串参数传递给我已经设置的 java 主程序. (我只需要转换,不需要java程序执行) 谢谢! ..
发布时间:2021-11-12 03:55:53 其他开发

NiFi 中的 Python ExecuteScript:转换流文件属性 &内容

我正在尝试在 NiFi 中创建一个 Python 脚本: 从传入的流文件中读取一些属性 读取流文件的json内容&提取特定字段 将属性写入传出流文件 用脚本中创建的新内容覆盖传入的流文件(例如,返回新 json 的 API 调用)并将其发送到 SUCCESS 关系或删除旧的流文件并使用所需内容创建新的流文件 到目前为止我做了什么: 导入json导入 java.io从 org.a ..
发布时间:2021-11-12 03:55:50 Python

NIFI 如何将 uuid 更改为文件名

我有一些 XML 格式的文档加载到 Marklogic 中.PutMarkLogic URI 属性名称属性默认为“uuid".如何将其更改为文件名. 输入目录: /input/ac01010.xml/输入/ac02010.xml.... 我下面有两个处理器 GetFile ->PutMarkLogic 想要 Marklogic 显示文档: ac01010.xmlac0201 ..
发布时间:2021-11-12 03:55:47 其他开发

有没有办法在 Nifi 的 PublishJMS 处理器中更改交付模式?

我正在使用 Nifi PublishJMS 处理器向 IBM MQ 发送消息.消息在 MQ 中具有持久性 = 持久性.我想将其更改为非持久性.Nifi PublishJms 处理器中是否有一个属性可以纠正这个问题?或者是从MQ端完成的.我无权访问 MQ 服务器,我只能检查正在传递到队列的消息. 解决方案 在低级别,MQ 客户端应用程序可以指定以下持久性值: MQPER_PERSIST ..
发布时间:2021-11-12 03:55:41 其他开发

NiFi:ReplaceTextWithMapping 处理器

我有以下插入语句: 插入 temp1 值 (test1, test2) 插入 temp2 值 (test3) 预期结果: 插入 temp1 值 (100, 200) 插入 temp2 值 (300) 本质上,我想分别用值 100、200 替换第一个查询文字 test1、test2对于第二个查询,将 test3 替换为值 300.有人可以帮助上述用例的映射文件吗? ..
发布时间:2021-11-12 03:55:38 其他开发

在 Apache nifi 中将两个模式合并为一个

我正在尝试使用 Apache nifi 将两个 csv 文件合并为一个 json.两个 csv 是persons.csv,其中包含有关人员的信息: Id|姓名|姓氏ABC-123|约翰|史密斯ABC-111|艾伦|木头ABC-001|格蕾丝|凯莉 第二个 csv 包含这些人参加过的活动列表: EId|PId|Date|Desc1|ABC-123|2017-05-01|“凹槽派对"2|ABC- ..
发布时间:2021-11-12 03:55:36 其他开发

Apache NiFi 的 InvokeHTTP 和其他 HTTP 处理器是否向重定向的 URL 发送授权标头?

如果我已使用承载令牌配置了属性 Authorization,InvokeHTTP 会将该标头发送到 重定向的 URL 吗? 我在文档中找不到任何关于它的内容.我似乎也无法在 InvokeHTTP 的底层库 OkHttp 的源代码中找到清晰的信息. 有没有办法根据 URL 从重定向的 URL 中剥离标头? 我可能很快就会进入“使用 ExecuteGroovyScript"领域. ..
发布时间:2021-11-12 03:55:27 其他开发

nifi 中的 JSON 数组到多个 JSON 对象

我想在 Nifi 中实现以下请求-响应场景.我的目标是在更多不同的处理器中使用每个值作为数组(对象键 1,对象键 2,...). 因此,如果我可以将其转换为多个 JSON,那么使用拆分 JSON 之后我可以使用多个值. 请为此提出各种解决方案. 输入 JSON: [{"ID": "789654","日期": "2 月 29 日",“键":[“对象键 1"、“对象键 2"、“对象 ..
发布时间:2021-11-12 03:55:24 其他开发

如何解析日期字段并在 NiFi 中以字符串格式生成日期

我的每个流文件都包含 2000 条记录.我想将 01/01/2000 解析为列年 = 2000,列月 = Jan 和列日 = 01 即将输入列 01/01/2000 分成 3 个以逗号分隔的值 01,Jan,2000 解决方案 假设您有一个这样的架构,供一个生日的人使用,并且您想拆分生日: {"name": "人","命名空间": "nifi","类型": "记录",“领域":[{ ..
发布时间:2021-11-12 03:55:21 其他开发

在 nifi 中将 JSON 转换为 CSV

我想在 nifi 中将 JSON 文件转换为 CSV.我们可以用 Python 和其他编程语言来实现这一点,并且有很多关于它的文章.我有多个 JSON 文件,每个文件都有不同的架构(一个特定文件只有一个架构).我可以看到有将 CSV 转换为 JSON 和其他转换的模板.但是我没有看到任何将 JSON 数据转换为 CSV 的模板.我已经阅读了文章 https://community.hortonwo ..
发布时间:2021-11-12 03:55:18 其他开发

OkHttp 是否在重定向时发送授权和其他可能敏感的标头?

我通过 Apache NiFi 传递性地使用 OkHttp.我正在尝试确定如何在重定向时处理授权和其他敏感标头.NiFi 的 InvokeHTTP 处理器与 OkHttp 在重定向方面的唯一交互是 这里,它读取处理器属性并将选项设置为OkHttpClientBuilder 对象: //设置是否跟随重定向okHttpClientBuilder.followRedirects(context.get ..
发布时间:2021-11-12 03:55:15 Java开发

OkHttp 是否在重定向时发送授权和其他可能敏感的标头?

我通过 Apache NiFi 传递性地使用 OkHttp.我正在尝试确定如何在重定向时处理授权和其他敏感标头.NiFi 的 InvokeHTTP 处理器与 OkHttp 在重定向方面的唯一交互是 这里,它读取处理器属性并将选项设置为OkHttpClientBuilder 对象: //设置是否跟随重定向okHttpClientBuilder.followRedirects(context.get ..
发布时间:2021-11-12 03:55:12 Java开发

在 nifi 中将 JSON 转换为 CSV

我想在 nifi 中将 JSON 文件转换为 CSV.我们可以用 Python 和其他编程语言来实现这一点,并且有很多关于它的文章.我有多个 JSON 文件,每个文件都有不同的架构(一个特定文件只有一个架构).我可以看到有将 CSV 转换为 JSON 和其他转换的模板.但是我没有看到任何将 JSON 数据转换为 CSV 的模板.我已经阅读了文章 https://community.hortonwo ..
发布时间:2021-11-12 03:55:09 其他开发

如何动态更新 Nifi 中的 variable.registry.properties?

可变注册表属性是一项添加到 Nifi 的功能,旨在促进软件开发生命周期.这意味着您可以在单独的开发环境中开发流程,并利用 nifi.variable.registry.properties 属性中指定的自定义属性文件以及表达式语言在处理器配置中使用变量.然后,您可以将流程与自定义属性文件一起导出为模板,并将它们推送到生产环境.但是,一旦启动 Nifi 的生产实例,就无法修改您的自定义属性文件.这意 ..
发布时间:2021-11-12 03:55:06 其他开发

列是没有时区的时间戳类型,但表达式的类型是字符变化:Nifi

我正在尝试使用 nifi 将 CSV 记录插入 Postgres 数据库. 示例 csv 文件: 时间现在,位置'2019-10-21 15:13:11','科伦坡' nifi 场景运行时出现如下错误 错误列 'timenow' 属于没有时区的时间戳类型,但表达式属于不同类型的字符 如果我使用普通 insert into conditions (timenow,locatio ..
发布时间:2021-11-12 03:55:00 其他开发

covertJSONtoSQL 在 NiFi 中返回空值

我正在设计一项工作,它使用 ExecuteSQL 处理器将数据从 MySQl 中的数据库传输到另一个数据库(MySQL),然后是 ConvertAvroToJson,然后是 ConvertJsonToSQL然后PutSQL如下流程图 ConvertJSONToSQL 返回如下所示的空值 INSERT INTO source_count (field1, field2, field3, f ..
发布时间:2021-11-12 03:54:54 数据库

Apache NiFi:如何比较 csv 中的多行并创建新列

我有一个看起来像这样的 csv. Jc,TXF,timer,alpha,beta15、44、55、12、3318,87,33,1119、87、61、29、77 Alpha 和 Beta 组合构成一个城市代码.我想将城市名称作为新列添加到 csv 中. Jc,TXF,timer,alpha,beta,city15,44,55,12,33,约克18,87,33,111,伦敦9,87,61,29, ..
发布时间:2021-11-12 03:54:51 其他开发