apache-nifi相关内容
我在通过合并记录传递流文件时遇到问题。 这是流程(点击图片链接): Flow Queue 我已经尝试了配置设置的大多数排列,但似乎无论我做什么都无法将flow文件从队列中取出: MergeRecord Configuration 有人知道阻止此合并记录传递流文件的原因吗?流文件当前似乎是文本文件,它们需要是JSON才能正确分组合并记录吗? 推荐答案 合并在
..
我想尝试使用处理器ConvertJSONToSQL连接到MySQL,我将mySQL-Connector-Java-5.1.34.jar添加到了我的lib文件夹中的nifi文件夹和DBCPConnectionPool 1.12.1中,但收到错误 2021-02-04 13:41:07,810 WARN [Timer-Driven Process Thread-10] o.a.n.control
..
我创建了一个Apache Ni-Fi流1从MySQL服务器获取一个简单的表,并将其复制到InfluxDB中,经过一些数据转换。 我使用PutInfluxDataRecord处理器将数据从Avro格式转换为内联协议,并将数据插入到流入中(通过使用StandardInfluxDatabaseService 1.15.0-快照控制器服务)。 在Avro Reader 1.15.2控制器服务中
..
我有这些从ftp获取的XML文件(使用list和Fetch ftp处理器)。我想从XML文件中获取值,并将文件替换为这些值,因为它是CSV。(并使用putFtp处理器将它们放回ftp) 所需输出如下所示: {"foodate":"somedate","name":"fooid1_foovalue","value":5.44} {"foodate":"somedate","name":"
..
我在集群中部署了带有Kerberos的NiFi,并使用haProxy访问UI。我可以通过单个节点URL访问NiFi UI,但它不能与负载平衡器URL一起工作,并收到以下错误 系统错误 请求包含无效的主机头 我认为可以通过nifi.web.proxy.host和nifi.web.proxy.context.Path参数来修复。我尝试了这两个参数,但问题仍然存在。 推荐答案
..
您好,我对docker和nifi完全陌生,我需要在docker上设置nifi,但我收到以下错误。 下面的错误文本或(screenshot of error - on terminal) nifi01_1 | 2021-09-17 02:12:30,707 INFO [main] o.a.nifi.properties.NiFiPropertiesLoader Loaded 202
..
我已为Apache NiFi-1.1.1启用了LDAP身份验证。 我可以在使用ldap用户登录后访问NiFi Web用户界面。 当我尝试使用基本身份验证访问REST API/process-groups/root时,显示 Unable to perform the desired action due to insufficient permissions. Contact th
..
我正在尝试使用Nifi的InvokeHTTP处理器向POST API发送多部分/表单数据请求。该请求接受一个json和一个文件。Postman中的请求头和请求体如下所示- POST /delivery/deliverPackage User-Agent: PostmanRuntime/7.6.1 Accept: */* Host: example.hostname:port accept-e
..
我们正在 NiFi 中创建一些流,在某些情况下可能会建立队列,但由于某种原因,流无法按预期工作. 在一天结束的时候,我想清除队列,并想以某种方式自动化它.问题是我们如何从后端删除队列?有什么方法可以实现吗? 解决方案 除了 Bryan 提到的显式“Drop Queue"功能外,您可能感兴趣的其他几个功能是“Back Pressure"和“FlowFile Expiration"设置关
..
我设置了以下流程以读取 json 数据并使用 convertRecord 处理器将其转换为 csv.但是,输出流文件只填充了单个记录(我假设只有第一条记录)而不是所有记录. 有人可以帮忙提供正确的配置吗? 源 json 数据: {"creation_Date": "2018-08-19", "Hour_of_day": 7, "log_count": 2136}{“creation_
..
我正在运行 nifi 实例 1.2.0. 我只是尝试使用“Wait\Notify"处理器和以下参考http://ijokarumawak.github.io/nifi/2017/02/02/nifi-notify-batch/#why-mergecontent-dont-suffice 在画布中拖动模板,然后我尝试运行它. 它在“等待/通知"处理器中显示以下错误. 处理St
..
使用 InferAvroSchema 我得到了我的文件的 Avro Schema.我想使用这个 Avro 模式在 PostregSql 中创建一个表.我必须使用哪个处理器. 我使用:GetFile->InferAvroSchema->我想从这个模式创建一个表->放置databaseRecord. avro 架构: {“类型":“记录","name": "保修","doc" : "风筝
..
我有两个有效负载,想将它们合并为单个 JSON 对象(流式连接).在少数地方,人们建议使用 AttributesToJSON,但由于其中一个 JSON 没有固定的属性集,我想这是不可能的. 第一个有效载荷是 {"title":"API 操作文档","title_link":"https://api.slack.com/","author_name":"姓名","author_link":"
..
那里有很多 ETL 工具.免费的并不多.在那里的免费选择中,他们似乎对 ArangoDB 没有任何了解或支持.如果有人处理过将他们的数据迁移到 ArangoDB 并自动执行此过程,我很想听听您是如何做到这一点的.下面我列出了我们对 ETL 工具的几种选择.这些选择实际上是我从 Bas Geerdink 的 2016 年 Spark Europe 演讲中选择的. * IBM InfoSphere
..
我有 3 个文件需要发布到 API 端.我正在使用 FetchHDFS 进程获取 3 个文件,我想将它们传递给 API.我怎样才能通过它们. 输入: HDFS 中的 3 个文件内容类型:多部分/表单数据 错误: invokehttp.response.body{ "message": "Multipart: Boundary not found (user: 'undefined')"
..
我有一个 Nifi 集群,一个 Zookeeper 节点和五个 Nifi 节点.我想从zookeeper服务器到Nifi客户端进行SSL加密.阅读 Nifi 文档,它说: ZooKeeper 中对 SSL 的支持正在积极开发中,预计将在 3.5.x 发行版中提供. 新的 zookeeper 3.5.3-beta 具有 SSL 功能.我安装了 zookeeper 3.5.3,但我无法使用
..
我正在尝试使用批量加载选项将流文件加载到 MySQL 数据库中.下面是我在 UpdateAttribute 处理器中使用的查询,并在更新参数以执行批量加载后将该查询传递给 PutSQL. LOAD DATA INFILE '${absolute.path}${filename}' INTO TABLE ${dest.database}.${db.table.name} FIELDS TERMIN
..
在 NiFi 中,我使用 Clickhouse 驱动程序.当我“启用"带有驱动程序的 DBCPConnectionPool 时,我得到 java.lang.NoClassDefFoundError: com/google/common/collect/MapMaker. 设置画面 解决方案 Clickhouse Driver 不是独立的 JAR,它 有依赖,比如Guava.您必须下载
..
我有一个 Nifi 集群,一个 Zookeeper 节点和五个 Nifi 节点.我想从zookeeper服务器到Nifi客户端进行SSL加密.阅读 Nifi 文档,它说: ZooKeeper 中对 SSL 的支持正在积极开发中,预计将在 3.5.x 发行版中提供. 新的 zookeeper 3.5.3-beta 具有 SSL 功能.我安装了 zookeeper 3.5.3,但我无法使用
..
我想提取数据并将其放入属性中.例如数据: 001ABCUP1XYZ 0001256478999120210101999999999 我只想要第一行中的 ABC 用于放入属性中.这个 ABC 可以是任何 3 到 4 个字符的字符串.我不知道如何获得它? 我的流程是:GetFile ->SplitText ->提取文本 ->更新属性 ->路由文本我想在拆分文本之前,我应该放任何处理器来获得A
..