apache-nifi相关内容
我们当前设置了属性文件的路径，其中包含 AWSCredentialsProviderControlerService 凭证文件的秘密/访问密钥.问题是，我们每次运行 nifi 工作流时都在更改 prod 和 non prod 的属性路径.试图在凭据文件路径上的配置上不做任何更改，以便无论生产和非生产如何都可以读取访问/秘密密钥.由于凭证文件不支持 Nifi Expresion 语言，尝试利用 AC
..
我想知道根据日期范围获取每个月的起始日期值的最佳方法是什么. 例如:如果我的年份范围为 2015-11-10 和 2018-01-15(格式为 YYYY-mm-dd).然后我想提取以下日期: 2015-12-012016-01-01..2018-01-01 解决方案 您可以尝试使用此流程在提供的日期范围内生成每个月的第一天. 整体流程 第一步配置:开始 第 2 步配置
..
我想提取文件名并将文件名存储在 CSV 文件的现有列之一中.这该怎么做?使用哪种处理器?什么配置?例如，我有一个文件名“FE_CHRGRSIM_20171207150616_CustRec.csv"，我想提取“FE_CHRGRSIM_20171207150616"并将此值存储在同一 CSV 文件中的现有列下.请帮忙.TIA 解决方案 通常“真实"文件名可用作名为“filename"的流文件
..
我在 NiFI 中有一个流程，其中我使用 ExecuteSQL 处理器从 hive 表中获取名为 dt 的子分区的整体合并.例如:我的表由 sikid 和 dt 分区.所以我在 sikid=1, dt=1000 和 sikid=2, dt=1000 下.我所做的是select * from my_table where dt=1000. 不幸的是，我从 ExecuteSQL 处理器返回的是损
..
我有这样的 Json 数组； [{"item_id": "","时间戳": "",“类型": ""，“价值": ""},{"item_id": "","时间戳": "",“类型": ""，“价值": ""}] 我想像这样为 HBase 创建行键 :item_id 时间戳类型 但是 PutHBaseRecord 等待我的一个字段.我能做什么? 我可以这样做吗? 对于记录阅读
..
我正在研究 NiFi 文档.我必须同意，这是有据可查的开源项目之一. 我的理解是处理器运行在集群的所有节点上.但是，我想知道当我们使用 FetchS3Object、FetchHDFS 等内容拉取处理器时，内容如何在集群节点之间分配.在 FetchHDFS 或 FetchSFTP 等处理器中，所有节点都会连接到源吗?是拆分内容并从多个节点获取还是一个节点获取内容并在下游队列中对其进行负载均衡?
..
以下是我的流程: GetFile >ExecuteSparkInteractive >放置文件 我想从 ExecuteSparkInteractive 处理器中的 GetFile 处理器读取文件，应用一些转换并将其放在某个位置.下面是我的流程 我在spark处理器的code部分下写了spark scala code: val sc1=sc.textFile("local_path")s
..
我正在向表中插入/更新数据.数据库系统不提供“Upsert"功能.因此，我使用临时表进行插入，然后合并到“最终"表中，最后我截断了临时表. 这会导致竞争条件.如果在合并+截断之间将新数据插入临时表，则此数据将丢失. 我如何确保不会发生这种情况? 我尝试通过等待/通知对此进行建模，但这也不是一个干净的解决方案.“Put Data into staging table"PutData
..
我在我公司防火墙后面的 Linux Box(网关服务器)中运行 MiNiFi.我的 NiFi 在 AWS EC2 集群上运行(以独立模式运行). 我正在尝试将数据从网关发送到在 AWS EC2 中运行的 NiFi. 从网关，我可以使用公共 DNS 和我在 nifi.properties 文件中配置的远程端口 telnet 到 EC2 节点 nifi.properties # 站
..
我正在安装 Apache NiFi 1.3.0...它有一种安装用户的新方法，它似乎只能通过 GUI. 我很好奇是否有办法通过 DN 来提升用户列表并为其设置策略.我知道有旧用户文件... 我正在查看 users.xml 文件.它需要一个标识符，该标识符映射到authorizations.xml 文件中的策略. 旧的 NiFi 会让我在这里做:https://community.
..
我想制作新的处理器，它将是 GetFile 和 EvaluateXpath 的重聚，有几个我感兴趣的主题: 如果我的 nar 文件超过 20kb 并且我的 nifi 无法运行它，我该如何缩小它? 我想从文件夹中获取文件读取它的数据并将其作为属性放入新的流文件中，然后将配置 xml 回滚到它的原始文件夹，如何将我的配置文件回滚到文件夹 b 代码? 这是我用来从 xml 配置文件获取属性
..
你好，关于这个问题:nifi 加密 json我尝试使用提供的 模板.我在尝试执行 executeScript 处理器时发现错误: 没有 try catch: 基本上它会尝试执行以下脚本: import javax.crypto.Cipher导入 javax.crypto.SecretKey导入 javax.crypto.spec.IvParameterSpec导入 javax.cry
..
我想删除一些集合:db['mycollection'].remove({})，在我的 MongoDB 数据库中，我发现有一个 deleteMongo 处理器，但我不知道如何使用它，因为我找不到示例. 那么，deleteMongo 处理器允许这样做吗?如果是这样，请你给我举个例子. 提前致谢！ 解决方案 DeleteMongo 实际上并不删除集合，而是删除提供的集合中的文档.查看
..
我是 niffi 的新手，我正在使用 getMongo 从 mongodb 中提取文档，但同样的结果一次又一次地出现，但查询结果只有 2 个文档，查询为 {"qty":{$gt:10}} 解决方案 有一个类似的问题.让我引用我在那里说过的话: "GetMongo 将继续根据提供的属性(例如 Query、Projection、Limit)从 MongoDB 中提取数据.它无法跟踪执行过
..
我一直在尝试在 NiFi 的 ExecuteScript 处理器中运行 python 脚本.尽管这里的问题是我没有服务器文件位置访问权限，并且所有 python 库都安装在“/data/jython"、“/data/jython/Lib/site-packages/"和“data/nltk" 下面是我的python脚本的导入部分: import json, traceback, pycou
..
我正在点击此链接设置 Nifi putHDFS 以写入 Azure 数据湖.从 NiFi 数据流连接到 Azure Data Lake Nifi 在 HDF 3.1 VM 中，Nifi 版本为 1.5. 我们从一个HD Insight(v 3.6，支持hadoop 2.7)头节点得到了上面链接中提到的jar文件，这些jar文件是: adls2-oauth2-token-provide
..
我正在尝试将 XML 数据插入 Cassandra DB.请有人建议nifi中的流程.我有 JMS，我需要在上面发布消息数据，然后使用 &将数据插入 Cassandra. 解决方案 我不确定您是否可以将 XML 直接摄取到 Cassandra 中.但是，您可以使用 TransformXml 处理器(和 this XSLT)，或者从 NiFi 1.2.0 开始，您可以使用 ConvertRe
..
我想在运行时重新加载初始管理员身份配置.有没有办法实现这一点. 考虑这种情况，如果我使用 Kerberos 在安全模式下配置了 NiFi 并且没有提供“初始管理员".所以我无法与任何用户登录 NiFi.我想在 NiFi 启动后更新 authorizers.xml 中的管理配置并在运行时重新加载文件.我怎样才能做到这一点? 给我一个成功的解决方案或想法. 解决方案 如果不重新
..
我正在努力在 Nifi 中使用 JOLT 进行转换 我的输入 [{“值0":0，“值1":1，“值2":2},{“值0":3，“值1":4，“值2":5}] 期望的输出: [{"val":0 },{"val" :1 },{"val" :2 },{"val" :3 },{"val":4 },{"val":5 },] 我几乎设法让它发挥作用.这是我的(错误的)Jolt 规范:
..
按照我之前的帖子Jolt:在 Nifi 中拆分/连接数组值 现在我希望将另一个值 (ts) 复制到每个拆分中.我的输入: [{“值0":0，“值1":1，“值2":2，“ts":1},{“值0":3，“值1":4，“值2":5，“ts":2}] 所需的输出: [ {“值0":0，“ts":1}, {“值1":1，“ts":1}, {“值2":2，“ts":1}, {“值0":3，“
..
