使用 nifi 使用 invokehttp 将多个文件发布到 API
我有 3 个文件需要发布到 API 端.我正在使用 FetchHDFS 进程获取 3 个文件，我想将它们传递给 API.我怎样才能通过它们. 输入: HDFS 中的 3 个文件内容类型:多部分/表单数据 错误: invokehttp.response.body{ "message": "Multipart: Boundary not found (user: 'undefined')"
..
apache-nifi相关内容
访问 Json 元素并使用 python ExecuteScript 处理器写入文本文件
我是 python 和 nifi 的新手. 我的流程是 GetFile-->ExecuteScript 在脚本中，对于每个 json，我想访问特定元素并将其逐行写入文本文件. 我尝试了以下方法: 导入json导入 java.io从 org.apache.commons.io 导入 IOUtils从 java.nio.charset 导入 StandardCharsets从 or
..
将标头添加到 PostHttp 处理器或 Apache Nifi
我试图在我的 apache nifi 中的 post 请求标头中添加一个自定义标头，我已经看到在配置选项卡中有要作为 http 标头发送的属性(正则表达式)我对正则表达式不是很熟悉，不知道如何添加标题及其值，如下所示:token : READ ? 解决方案 PostHttp 的“作为 HTTP 标头发送的属性(正则表达式)"属性可以接受正则表达式，但它可以很好地指定单个属性名称，例如令牌.
..
Apache NiFi:使用映射值将列添加到 csv
使用 GetFile 处理器将 csv 带入 NiFi 工作流程.我有一个由“id"组成的列.每个 id 表示一个特定的字符串.大约有3个id.例如，如果我的 csv 包含 姓名、年龄、身份证约翰,10,Y杰克，55，N芬兰人，23，C 我知道 Y 表示约克，N 表示旧，C 表示猫.我想要一个标题为“nick"的新列，并且每个 id 都有相应的昵称. 姓名、年龄、身份证、昵称约翰,10,Y,
..
来自嵌套数组的 JOLT 连接值 (Apache NiFi)
我有一个 JSON: {“报告":[{“列标题":{“度量标头":{“metricHeaderEntries":[{“名称":“ga:会话"，“类型":“整数"},{“名称":“ga:bounces"，“类型":“整数"},{“名称":“ga:sessionDuration"，“类型":“时间"},{“名称":“ga:pageviews"，“类型":“整数"}]}},“数据":{“行":[{“指
..
使用 Apache NiFi 进行复杂的转换和过滤
我有一个 JSON 数组: [ {“帐户登录":“some_mail@gmail.com"，“view_id": 11313231,“join_id":“utm_campaign=toyota&utm_content=multiformat_sites&utm_medium=cpc&utm_source=mytarget"，“开始日期":“2020-08-01"，“结束日期":“2020-08-
..
如何通过 PublishKafka 处理器将 NIFI 连接到 IBM MessageHub?
我正在尝试将 NIFI 连接到 IBM MessageHub，但没有任何连接正常工作. 有没有人有关于如何配置它的工作示例? 我在公告板中收到超时异常. 我已经配置了 PublishKafka_0_11 1.4.0 处理器.将其配置为 SASL_SSL，添加标准 ssl 上下文服务，添加 jaas.conf KafkaClient {需要 org.apache.kafka.co
..
JOLT - 在嵌套数组中加入数组
我正在努力实现以下转变.但是，我的解决方案将不需要的空值添加到最终数组中. 转换需要为所有 root 元素在 child 数组中移动名称.我创建了 3 个案例来说明问题. 案例 1 输入 {“根":[{“孩子":[{“姓名":“约翰"},{“姓名":“弗雷泽"}]},{“孩子":[{“姓名":“布兰登"},{“姓名":“约瑟夫"}]}]} 期望输出 {“姓名":[“约翰，弗
..
Nifi中unicode字符串的NumberFormatException
我有两个处理器的流程:QueryDataBaseTable ->PutDatabaseRecord. 通过AvroReader从Oracle到Postgresql. 这是来自 Oracle 的查询结果: nmcl_id|assortment_id|nname |aname |modify_date |load_date|-------+-------------+----------
..
使用 Apache NiFi 按列内容写入 CSV 文件
我有一个 Apache NiFi 流，我在其中读取了一个巨大的 .csv 文件.这是一个示例 .csv: 学校、日期、城市范德比尔特, xxxx, xxxx乔治敦, xxxx, xxxx杜克, xxxx, xxxx范德比尔特, xxxx, xxxx 我想用NiFi读取文件，然后输出另一个.csv文件，按school名称.IE.将有一个 .csv 文件，其中包含两条 Vanderbilt 记录(
..
无法使用 jolt 转换在 json 下转换
我有一个 JSON，其中包含玩板球的 studentId，我想要一个组数组的每个对象的学生列表.但是输出正在合并到同一个学生列表中.我尝试迭代每个 studentId 并获得以下输出.我希望得到如下预期/所需格式的输出.有什么帮助吗? 输入: {“学生资格":{“体育资格":{“板球资格":[{“组":[{“多人游戏":[{“学生 ID":“2aefcb01-fe81-4760-b531-
..
“DBCPConnectionPool"服务不接受存储在属性中的值
以下是我使用的处理器组合:- GetFile + SplitText + ExtractText + UpdateAttribute + ExecuteSQL + ConvertAvroToJson + PutFile 基本上，我有一个属性文件，其中包含“DBCPConnectionPool"控制器服务与数据库建立连接所需的 5 个逗号分隔值.这是我的属性文件的内容:- jdbc:mysql
..
Ingress Controller (Traefik) 和 Kubernetes 上的后端服务之间的安全通信
我正在尝试保护 Kubernetes 集群中的 Nifi，在 Traefik 代理后面.两者都在 K8S 中作为服务运行.Traefik 使用公共证书进行保护.我希望它将调用重定向到 nifi，同时保护 Traefik(作为入口控制器)和后端 pod 之间的通信:Nifi. 看起来安全配置应该在我的 Ingress YAML 描述符中.看起来我应该颁发一个 CA 根来生成 Nifi 自签名证
..
NiFi moveHDFS 处理器似乎什么都不做
只是尝试自动将文件从一个 HDFS 目录移动到另一个.使用 Apache NiFi 中的 moveHDFS 处理器执行此操作，但在启动处理器时似乎没有任何反应. 处理器指标在很长一段时间后保持为零并且查看公告板显示没有错误(日志级别设置为 INFO)，公告板中唯一的日志输出是: 14:50:04 HSTINFO1e637d0d-0163-1000-7bde-a7993ae403e8Move
..
如何在 NIFI 中的 PUTFILE 处理器上维护唯一的时间戳
我有一些 csv 数据需要放入具有特定文件命名约定的唯一文件名的位置. 流程顺序 合并记录 ->在这里，csv 行将被合并并转发到更新属性处理器. 更新属性 ->当合并的流文件内容(csv 行的集合)流经更新属性处理器时，具有以下语法的当前时间戳将被分配给“文件名".流文件属性.语法:Test-${now():format("yyyyMMddHHmmssSSS", "IST")}
..
Apache NiFi 将所有日志重定向到标准输出
我一直在尝试将所有 Apache NiFi 日志重定向到 stdout，将新的 STDOUT appender 配置到其 ./conf/logback.xml 中. 看起来像这样:
..
nginx 处理器后面的 docker 上的 Nifi 配置未打开
遵循指南(https://michalklempa.com/2019/04/nifi-registry-nginx-proxy-tls-basic-auth/ ) 来设置 nginx 基本身份验证，但是我不是为 nifi-registry 设置代理，而是为 nifi 设置它.身份验证正在工作并且页面可以访问，但不知何故处理器配置窗口未打开.这个问题是由于 nginx 造成的，因为通过暴露的 HTT
..
无法使用 Jolt 转换转换为以下格式的 json
无法使用 jolt 实现上述输出格式，并且通过了多个 SO 问题，但找不到类似的问题.尝试在 jolt 规范数组中添加索引，但没有奏效.提前致谢并在下面找到输入、输出和震动规范 输入: {“test1":“学生"，“学校":{“教学大纲":{“期中考试":{“内含物":{“包含的主题列表":{“主题":[{“主题名称":“MH1"},{“主题名称":“MH2"},{“主题名称":“MH3"
..
NiFi 如何使用(Java)通过自定义处理器获取当前处理器名称和处理器组名称
我正在使用 Java 创建 NiFi 自定义处理器，其中一项要求是使用 java 代码获取先前的处理器名称和处理器组(如面包屑). 解决方案 之前的处理器名称和进程组名称不能立即(也不打算)提供给处理器，您能否详细解释一下您的用例?您也许可以使用 SiteToSiteProvenanceReportingTask 将出处信息发送回您自己的 NiFi 实例(例如输入端口)并找到与 FlowF
..
NiFi GenerateTableFetch 不存储每个 database.name 的状态
我正在测试 NiFi 以替换我们当前的摄取设置，该设置从表的多个 MySQL 分片导入数据并将其存储在 HDFS 中. 我正在使用 GenerateTableFetch 和 ExecuteSQL 来实现这一点. 每个传入的流文件都有一个 database.name 属性，DBCPConnectionPoolLookup 使用该属性来选择相关的分片. 问题是，假设我有 2 个分片可
..