apache-nifi相关内容

通过Apache Knox网关访问Apache NIFI REST API(jwt)

我正在寻找资源来配置Apache KNOXTOKEN服务以访问Apache NIFI REST API. 我已经配置了KNOXSSO，并且能够通过它访问NIFI UI.但是，我找不到资源来确保可以通过Curl和JWT安全访问NIFI REST服务. 指针受到赞赏. 解决方案 对此处的其他建议进行了细微调整... 与KnoxSSO集成时，NiFi会在cookie中接受Kno ..
发布时间：2020-04-25 08:11:21 其他开发

如何正确合并多个FlowFile?

我使用MergeContent 1.3.0来合并来自2个来源的FlowFiles:1)来自ListenHTTP和2)来自QueryElasticsearchHTTP. 问题在于合并结果是JSON字符串列表.如何将它们转换为单个JSON字符串? {"event-date":"2017-08-08T00:00:00"}{"event-date":"2017-02-23T00:00:00"} ..
发布时间：2019-11-26 19:00:28 JavaScript

从JSON重命名无效的密钥

我在NIFI中有以下流程，JSON中有(1000+)个对象. invokeHTTP->SPLIT JSON->putMongo 流工作正常，直到我在json中收到带有“."的键为止.在名字里.例如"spark.databricks.acl.dfAclsEnabled". 我当前的解决方案不是最佳解决方案，我记下了错误的键，并使用多个替换文本处理器替换了“".和 "_".我不使用RE ..
发布时间：2019-11-24 21:23:03 其他开发

在Nifi中将JSON转换为CSV

我想在nifi中将JSON文件转换为CSV.我们可以使用Python和其他编程语言来实现这一目标，并且上面有多篇文章.我有多个JSON文件，每个文件都有不同的架构(一个特定的文件将只有一个架构).我可以看到有一些模板可以将CSV转换为JSON和其他转换.但是我没有看到任何将JSON数据转换为CSV的模板.我浏览了文章 https: //community.hortonworks.com/artic ..
发布时间：2019-11-24 20:50:39 其他开发

Nifi加密json

我想使用nifi加密json中的属性，但不加密密钥，因为我想将数据上传到mongodb服务器.有没有办法做到这一点?对于该项目，我使用Twitter数据作为概念证明.到目前为止，我已经使用EvaluateJsonPath处理器仅提取了tweet的文本，并且可以加密此文本，但是生成的json不再具有密钥. Nifi是否可以重新创建将密钥附加到我提取的此属性的json?有更好的方法吗? 解决方案 ..
发布时间：2019-11-24 18:47:45 其他开发

从Nifi中的Avro模式创建Postgresql表

使用InferAvroSchema，我得到了文件的Avro架构.我想使用此Avro模式在PostregSql中创建一个表.我必须使用哪个处理器. 我使用:GetFile-> InferAvroSchema->我想从该模式创建一个表-> Put databaseRecord. Avro模式: { "type" : "record", "name" : "warranty", ..
发布时间：2019-11-23 22:01:26 其他开发

PublishJMS处理器无法将消息写入IBM Websphere MQ

在通过PublishJMS处理器将消息发布到IBM Websphere MQ队列时，我遇到了问题. PublishJMS处理器的配置JMS控制器服务，我已经验证MQ连接没有问题.我相信我需要在PublishJMS或Controller Service中设置一些其他属性. 下面是错误消息堆栈. Caused by: com.ibm.msg.client.jms.DetailedMe ..
发布时间：2019-09-18 19:43:39 其他开发

有没有办法在Nifi中的PublishJMS处理器中更改传递模式?

我正在使用Nifi PublishJMS处理器向IBM MQ发送消息.消息在MQ中具有Persistence = Persistent.我想将其更改为“非持久". Nifi PublishJms处理器中是否有属性可以更正此问题?还是从MQ方面完成的.我无权访问MQ服务器，只能检查正在传递到队列的消息. 解决方案 在低级别，MQ客户端应用程序可以指定以下持久性值: MQPER_PERS ..
发布时间：2019-09-18 19:41:08 其他开发

SQL Server的DBCPConnectionPool控制器服务，jdbc异常

NiFi 1.1.1已在Windows 7和RHEL 7上进行了测试. 后台线程位于此处. 我已经创建了一个指向SQL Server数据库的DBCPConnectionPool控制器服务，我能够从表中获取数据并将其写入本地磁盘(ExecuteSQL-> ConvertAvroToJSON-> PutFile). 我的代码: public byte[] getMaxLSN(C ..
发布时间：2019-09-02 13:39:15 Java开发

如何在NiFi中调用远程REST服务

是否可以在NIFI处理器中使用xmlHttpRequest来调用远程休息服务？在我的情况下， ExecuteScript 处理器（使用Javascript）无法评估 XMLHttpRequest ;我可以使用任何类似的解决方案来获取响应数据吗？ var OutputStreamCallback = Java.type（“org.apache.nifi” .processor.io.Outp ..
发布时间：2019-05-27 12:38:10 前端开发

带解码器问题的Kafka Avro Consumer

当我尝试使用我各自的架构运行 Kafka Consumer with Avro 时，它返回错误“AvroRuntimeException：格式错误的数据。长度为负：-40”。我看到其他人也有类似的问题将字节数组转换为json ， Avro写入和读取，以及 Kafka Avro Binary *编码器。我还引用了这个 Consumer Group Example 有帮助，但到目前为止没有帮助这个错误 ..
发布时间：2018-12-05 20:02:18 Java开发

NiFi moveHDFS处理器似乎什么都不做

简单地试图自动将文件从一个HDFS目录转移到另一个目录。使用Apache NiFi中的moveHDFS处理器做这件事，但启动处理器时似乎没有任何事情发生。 处理器指标在长时间后保持为零 并且在公告板上显示没有错误（日志记录级别设置为INFO），公告板中的唯一日志记录输出为： 14:50:04 HSTINFO1e637d0d-0163-1000-7bde-a7993ae403e8 ..
发布时间：2018-06-06 11:18:09 其他开发

Nifi：如何在一个线程（处理器）中对文件进行写入和检查操作？

如何只写一个点（处理器或服务）来写文件并使其在单线程中工作，在我的情况下，我有这样的工作流程executioncript1（带写操作的单线程处理器） - > updateAttribute-> InvokeHttpProcessor - >执行脚本1（单线程处理器与检查操作（它是第一个处理器））我已经尝试了下面的代码，但它也没有成功实现既不会例外， 我应该改变什么？ 这是我的代码： ..
发布时间：2018-05-30 10:21:01 其他开发

NiFi执行脚本加密json

您好，指的是这个问题： nifi加密json 我有尝试使用提供的模板。我在尝试执行executeScript处理器时发现错误： 没有try catch： 基本上它会尝试执行以下脚本： import javax.crypto.Cipher import javax.crypto.SecretKey import javax.crypto.spec .IvParamet ..
发布时间：2018-05-30 10:19:58 其他开发

Apache NiFi - OutOfMemory错误：在SplitText处理器上超出了GC开销限制

我正在尝试使用NiFi来处理使用HDF 1.2的大型CSV文件（每个文件可能有数十亿条记录）。我已经实现了我的流程，并且对于小文件一切正常。 问题是如果我尝试将文件大小推到100MB（1M记录），我从负责将文件拆分为单个记录的 SplitText 处理器获取 java.lang.OutOfMemoryError：超过GC开销限制。我已经搜索了这一点，它基本上意味着垃圾收集器执行时间太长而没有 ..
发布时间：2018-04-19 18:21:24 Java开发