Azure Key Vault错误地创建了复合身份
在Azure Key Vault策略中，我想添加ADF.下面是命令(从管道执行).但是创建后，它将显示为带有“代表"文本的“复合身份"，并且无法正常工作.当我手动将ADF添加到策略中时，它显示为“应用程序"，并且可以正常工作.如何使Powershell创建“应用程序"身份? Set-AzKeyVaultAccessPolicy -VaultName $ keyVaultName -Permis
..
azure-data-factory-2相关内容
Azure Data Factory V2中的Oracle存储过程
我已经在Oracle中创建了一个存储过程.谁能告诉我是否存在从Azure Data Factory V2执行该oracle存储过程的过程? 解决方案 您可以尝试
..
Azure数据工厂-从Data Lake Gen 2 JSON文件提取信息
我有一个ADF管道将原始日志数据作为JSON文件加载到Data Lake Gen 2容器中. 我们现在想从这些JSON文件中提取信息，而我正在尝试找到从所述文件中获取信息的最佳方法.我发现Azure Data Lake Analytics和U-SQL脚本功能强大且价格便宜，但它们需要陡峭的学习曲线. 是否有推荐的方法来解析JSON文件并从中提取信息?Data Lake表是否足以存储此提
..
Azure数据工厂-按日期过滤Mongodb源数据集
这种情况非常简单，如ADFv2文档和示例中所述，我创建了一个复制管道来从MongoDB集合中获取数据，并将其写入Azure SQL数据库. 已成功传输完整的收集数据，并且正确设置了所有映射.当我尝试过滤源数据集以仅从MongoDB获取最近的 n 天时，问题就开始了.我尝试了几个查询，并与MongoDB Compass进行了交叉检查，以查看它们是否实际上在执行Mongo方面.归结为以下过滤查询
..
使用PowerShell和应用程序环境变量从Azure批处理自定义活动中调用PowerShell脚本
我一直在慢慢研究如何调用PowerShell脚本以使用LogParser 2.2转换IIS日志.我已经确定要使用Azure数据工厂批处理服务自定义活动来运行PowerShell脚本.我已经能够弄清楚如何解决在Azure自定义批处理活动中运行PowerShell时出现的许多文件路径问题，但是我无法弄清楚这一点. 当前，我只是试图通过Write-Host打印环境变量AZ_BATCH_APP_PA
..
从Azure Data Factory中的多个表构建单个数据集
我有一个要求，要求我使用数据存储中查询中的视图.内置的复制实用程序似乎不喜欢带有内部联接的查询.我知道查询有效，因为我在本地SSIS中对其进行了测试.如何在ADF中建立连接2个或更多表的数据集?我尝试转到高级选项卡，并在查询中引用SqlDataReader，但无法弄清楚如何查看结果预览.请协助. 解决方案 抱歉，回复晚.希望您已经知道如何执行此操作.创作UI已更新，您现在不需要使用“高级"
..
如何在Azure Data Factory v2中解压缩zip文件
我正在尝试使用Azure Data Factory v2解压缩一个zip文件(其中包含多个文件).该zip文件位于Azure文件存储中.ADF复制任务仅复制原始zip文件而不解压缩它.关于如何进行这项工作有什么建议吗? 这是当前配置: 已将zip文件源设置为压缩类型= ZipDeflate的二进制数据集. 目标文件夹也被设置为二进制数据集，但压缩类型= None. 已创建具有单个“
..
Azure数据工厂:设置限制以使用“复制"活动复制文件数
我的管道中有一个复制活动，用于从第2代Azure数据中复制文件.源位置可能有1000个文件，并且文件需要复制，但是我们需要设置所需文件数的限制被复制.ADF中是否有任何选项可以实现相同的限制自定义活动? 例如:我在Data Lake中有2000个文件，但是在运行管道时，我应该能够传递一个参数以仅复制500个文件. 关于，桑迪普 解决方案 我认为您可以将lookup活动与for每
..
Azure数据工厂复制数据如果存在某个文件
我在Blob容器中有很多文件.但是我只想在blob容器上存在某个文件(例如SRManifest.csv)的情况下运行存储过程.我在数据工厂上使用了获取元数据和IF条件.您能帮我提供动态脚本吗?我尝试了这个 @bool(startswith(activity('Get Metadata1').output.childitems.ItemName，'SRManifest.csv')).它不起作用.
..
在ADF ARM模板中参数化自托管集成运行时
我们有不同的ADF环境，例如TST，UAT&产品在每个环境中，自托管的IR名称是不同的.是否可以在ADF ARM模板中参数化集成运行时，以便当ARM模板通过CI/CD部署时，我们可以在部署期间在DevOps Variable组中传递IR名称. 我尝试使用以下设置更改ADF中的参数化模板，但是IR名称在ARM模板参数JSON'arm_template_parameters.json'中仍然不可
..
如何在管道执行之间在Azure Data Factory中存储运行时数据?
我一直在关注Microsoft的教程从SQL Server数据库增量/增量加载数据. 它使用水印(时间戳)来跟踪自上次以来已更改的行.教程使用“存储过程"将水印存储到Azure SQL数据库.管道中的活动，因此可以在下一次执行中重复使用. 拥有一个Azure SQL数据库仅用于存储少量的元信息(我的源数据库是只读的btw)似乎有点过分.我宁愿将其他地方存储在Azure中.也许在Blob
..
如何在Azure数据工厂的数据流中过滤时间戳列
我有一个timestamp列，我在其中写了以下表达式来过滤该列: contact_date> = toTimestamp('2020-01-01')&&contact_date
..
适用于ADF的Azure DevOps中的完整模式部署
作为DevOps实施的一部分，我尝试为Azure Data Factory部署ARM模板. 在oreder中将部署模式选择为完成，以清理现有的adf实例并仅部署ARM模板中可用的管道.如下所示. 当我尝试运行部署时，失败并显示错误消息 ## [错误]由于无法删除某些资源，部署失败.这可能是由于没有权限删除目标范围内的资源.有关用法的详细信息，请参见https://aka.ms/ar
..
我们可以使用Azure Data Factory从Azure Analysis Services复制数据吗?
我找不到与此相关的任何连接器，并想知道是否有可能. 解决方案 是的，没有直接连接器.但是，Azure Analysis Services使用Azure Blob存储来保留Analysis Services数据库的存储和元数据. 因此，您具有用于 Blob存储的连接器.
..
Azure数据工厂数据流以静默方式使日期列为NULL
我正在尝试使用Azure数据工厂将CSV插入到Azure SQL表中.在我检查结果之前，一切似乎都还不错.列之一是可为空的日期.CSV包含类似 1/2/2020 12:00:00 AM 的值.数据流以静默方式插入 NULL 而不是抛出错误，因为它不喜欢输入.那么，如何获取数据流以将字符串正确地转换为日期时间，然后在以后出现类似问题时出错呢?我真的不希望出现静默故障和不良数据. 解决方案 空
..
如何从SQL Server表导出到Azure Data Factory中的多个csv文件
我在sql server中有一个简单的客户表，其中包含2列-客户名称和城市.在Azure数据工厂中，如何将该表导出到多个csv文件中，每个文件将仅包含来自同一城市的客户端列表，这将是文件名 我已经尝试并成功使用 lookup和foreach 将其拆分为不同的文件，但是数据仍然没有被城市过滤 有人有任何想法吗? 解决方案 您需要遵循以下流程图: 查找活动:查询:从表格中选择
..
如何使用Azure数据工厂复制活动提取电子邮件附件?
在一种情况下，我们希望将电子邮件附件拉到Azure存储中.认为Azure数据工厂(V2)意味着我们如何实现这一目标?是否有可用的连接器可用来直接连接到Outlook并获取电子邮件附件? 谢谢. 解决方案 ADF支持 您可以点击上面的链接来创建linkedService和DateSet. 在数据集中，您可以在json结构中定义以下属性.
..
将具有Gen1属性的文件从Gen1 Azur湖复制到Azur Gen2湖(如上次更新)
我需要将所有数据从Azur数据第1代湖迁移到第2代湖.在我的湖中，我们混合了不同类型的文件(.txt，.zip，.json和许多其他文件).我们想将它们原样移动到GEN2湖.除此之外，我们还希望维护所有文件的最新更新时间，即GEN1 lake. 我一直在考虑将ADF用于此用例.但是为此，我们需要定义数据集，并定义数据集，我们必须定义数据格式(Avro，json，xml，二进制等).由于混合了
..
Azure数据工厂V2复制活动-保存所有已复制文件的列表
我有一些管道，可以将文件从本地复制到不同的接收器，例如本地和SFTP.我想保存每次运行中复制的所有文件的列表以进行报告. 我尝试使用Get Metadata和For Each，但不确定如何将输出保存到平面文件甚至数据库表中. 或者，可以对复制到Data Factory日志中某处的对象列表进行优化吗? 谢谢 解决方案 更新: 项目: @activity('Get Me
..
在数据工厂管道中从ML Studio管道中提取结果
我们当前有一个Data Factory管道，该管道能够成功调用我们的ML Studio管道之一.ML Studio Pipeline完成后，我们希望Azure数据工厂选择ML Studio Pipeline的结果并将结果存储在SQL Server中. 我们发现PipelineData类基于子运行ID将结果存储在blob的文件夹中，这使得Data factory很难提取结果.然后，我们发现了O
..