Azure数据工厂获取元数据以获取Blob文件名并将其传输到Azure SQL数据库表
我试图在Azure数据工厂中使用“获取元数据"活动，以获取blob文件名并将其复制到Azure SQL数据库表中.我遵循此教程: https://www.mssqltips.com/sqlservertip/6246/azure-data-factory-get-metadata-example/ 这是我的管道，复制数据>Source是我的Blob存储中的Blob文件的源目标.我需要将源文件
..
azure-data-factory相关内容
检查Data Factory中的CSV文件编码
我正在实现一条管道，以将CSV文件从UTF8编码的条件下，将csv文件从一个文件夹移动到数据湖中的另一个文件夹中. 是否可以直接在数据工厂/数据流中检查csv文件的编码? 实际上，编码是在数据集的连接条件中设置的.如果csv文件的编码不同，在这种情况下会发生什么情况? 如果csv文件使用错误的编码暂存，在数据库级别会发生什么? 谢谢. 解决方案 到目前为止，我们无法
..
如何在管道执行之间在Azure Data Factory中存储运行时数据?
我一直在关注Microsoft的教程从SQL Server数据库增量/增量加载数据. 它使用水印(时间戳)来跟踪自上次以来已更改的行.教程使用“存储过程"将水印存储到Azure SQL数据库.管道中的活动，因此可以在下一次执行中重复使用. 拥有一个Azure SQL数据库仅用于存储少量的元信息(我的源数据库是只读的btw)似乎有点过分.我宁愿将其他地方存储在Azure中.也许在Blob
..
如何在Azure数据工厂的数据流中过滤时间戳列
我有一个timestamp列，我在其中写了以下表达式来过滤该列: contact_date> = toTimestamp('2020-01-01')&&contact_date
..
Azure数据工厂获取元数据以获取Blob文件名并将其传输到Azure SQL数据库表第2部分
我试图在Azure数据工厂中使用“获取元数据"活动，以获取blob文件名并将其复制到Azure SQL数据库表中.我在“获取元数据"活动之后添加了存储过程活动.这是我的新活动存储过程，我按照建议添加了参数，但是我将名称更改为JsonData，因为我的存储过程需要此参数. 这是我的存储过程. /******对象:StoredProcedure [dbo].[InsertDataJSON]脚本
..
适用于ADF的Azure DevOps中的完整模式部署
作为DevOps实施的一部分，我尝试为Azure Data Factory部署ARM模板. 在oreder中将部署模式选择为完成，以清理现有的adf实例并仅部署ARM模板中可用的管道.如下所示. 当我尝试运行部署时，失败并显示错误消息 ## [错误]由于无法删除某些资源，部署失败.这可能是由于没有权限删除目标范围内的资源.有关用法的详细信息，请参见https://aka.ms/ar
..
我们可以使用Azure Data Factory从Azure Analysis Services复制数据吗?
我找不到与此相关的任何连接器，并想知道是否有可能. 解决方案 是的，没有直接连接器.但是，Azure Analysis Services使用Azure Blob存储来保留Analysis Services数据库的存储和元数据. 因此，您具有用于 Blob存储的连接器.
..
Azure数据工厂数据流以静默方式使日期列为NULL
我正在尝试使用Azure数据工厂将CSV插入到Azure SQL表中.在我检查结果之前，一切似乎都还不错.列之一是可为空的日期.CSV包含类似 1/2/2020 12:00:00 AM 的值.数据流以静默方式插入 NULL 而不是抛出错误，因为它不喜欢输入.那么，如何获取数据流以将字符串正确地转换为日期时间，然后在以后出现类似问题时出错呢?我真的不希望出现静默故障和不良数据. 解决方案 空
..
如何从SQL Server表导出到Azure Data Factory中的多个csv文件
我在sql server中有一个简单的客户表，其中包含2列-客户名称和城市.在Azure数据工厂中，如何将该表导出到多个csv文件中，每个文件将仅包含来自同一城市的客户端列表，这将是文件名 我已经尝试并成功使用 lookup和foreach 将其拆分为不同的文件，但是数据仍然没有被城市过滤 有人有任何想法吗? 解决方案 您需要遵循以下流程图: 查找活动:查询:从表格中选择
..
数据出厂诊断设置
我们有一项要求，我们需要定期分析上一季度的管道执行情况，以识别作业失败和执行趋势以报告需求 如果我们想利用azure Log Analytics查询数据并创建报告图表，运营团队已经为其他azure产品创建了azure日志分析，那么我需要启用哪种诊断配置? 在此处输入图片描述 我们正在考虑利用日志分析，但是Data Factory仅将管道运行的数据存储45天，因此我们应该使用日志分
..
如何使用Azure数据工厂复制活动提取电子邮件附件?
在一种情况下，我们希望将电子邮件附件拉到Azure存储中.认为Azure数据工厂(V2)意味着我们如何实现这一目标?是否有可用的连接器可用来直接连接到Outlook并获取电子邮件附件? 谢谢. 解决方案 ADF支持 您可以点击上面的链接来创建linkedService和DateSet. 在数据集中，您可以在json结构中定义以下属性.
..
将具有Gen1属性的文件从Gen1 Azur湖复制到Azur Gen2湖(如上次更新)
我需要将所有数据从Azur数据第1代湖迁移到第2代湖.在我的湖中，我们混合了不同类型的文件(.txt，.zip，.json和许多其他文件).我们想将它们原样移动到GEN2湖.除此之外，我们还希望维护所有文件的最新更新时间，即GEN1 lake. 我一直在考虑将ADF用于此用例.但是为此，我们需要定义数据集，并定义数据集，我们必须定义数据格式(Avro，json，xml，二进制等).由于混合了
..
按列值进行数据流分区时不会向每个文件夹写入唯一的列值
我正在读取一个SQL DB作为源，它输出下表. 我的意图是使用数据流将每个唯一类型保存到可能命名为特定类型的数据湖文件夹分区中. 我设法创建了单个文件夹，但是我的数据流将所有类型的整个表保存到每个文件夹中. 我的数据流 来源 窗口 水槽 请注意，请勿在水槽侧再次设置优化. 我们可以获得的输出文件夹架构: 就目前而言，Data Factory D
..
ADF测试表达功能
是否可以在ADF中测试表达式功能? 例如:我想在我的触发参数中添加此表达式: @ {adddays(utcNow()，-10)} 测试它的唯一方法是创建一个1分钟的触发器，然后查看它是否执行.相同的表达式在调试或手动触发上将不起作用，因为其中的文本框不会展开. 还有其他方法可以轻松地测试这些吗? 解决方案 测试ADF表达式(不包括映射数据流)的最简单方法是使用“设置变量"
..
Azure数据工厂V2复制活动-保存所有已复制文件的列表
我有一些管道，可以将文件从本地复制到不同的接收器，例如本地和SFTP.我想保存每次运行中复制的所有文件的列表以进行报告. 我尝试使用Get Metadata和For Each，但不确定如何将输出保存到平面文件甚至数据库表中. 或者，可以对复制到Data Factory日志中某处的对象列表进行优化吗? 谢谢 解决方案 更新: 项目: @activity('Get Me
..
在数据工厂管道中从ML Studio管道中提取结果
我们当前有一个Data Factory管道，该管道能够成功调用我们的ML Studio管道之一.ML Studio Pipeline完成后，我们希望Azure数据工厂选择ML Studio Pipeline的结果并将结果存储在SQL Server中. 我们发现PipelineData类基于子运行ID将结果存储在blob的文件夹中，这使得Data factory很难提取结果.然后，我们发现了O
..
使用OAuth Azure Data Factory分页
在Azure数据工厂内部，我通过REST复制活动对Microsoft图进行了调用，利用其余活动来获取对该服务的访问令牌.Graph api返回最多200个结果，因此我对使用可在源代码中创建的分页规则感兴趣.在邮递员中，我可以看到我的回复结构是 {"@ odata.context":“值":[
..
Azure数据工厂-嵌套JSON的SQL
我有一个SQL数据库，其中包含用于职员和任命的表(1名职员:许多约会).我想使用Azure数据工厂以类似于以下格式将其输出到Blob存储区中的嵌套JSON: [{"staffid":"101"，"firstname":"Donald"，"lastname":"Duck"，“任命":[{"appointmentid":"201"，"startdate":"2020-02-01T00:00:00"
..
在Azure SQL数据流任务中从JSON映射列
我正在尝试对Azure数据工厂数据流中的源JSON数据集执行简单的SELECT操作，但是却收到一条错误消息，表明源中的所有列均无效.我使用确切的配置作为视频，除了使用JSON文件而不是CSV文件之外. 在视频中，在1:12，您可以看到在配置了源数据集之后，源投影显示了源模式中的所有列.以下是教程视频的屏幕截图:image.png 请注意，我无法修改数据类型或格式.我不确定为什么不这样做
..
将Azure Data Factory Pipeline运行事件记录到Azure App Insights
是否可以将状态显示为App Insights的ADF管道运行事件发布? 解决方案 据我所知，您可以在执行主要活动后使用ADF中的Web活动来调用Application Insights REST API(或使用执行管道活动来执行您的根管道并获取其状态或输出).然后将其发送到App Insights REST API. 更多详细信息，请参阅此文档: https://www.ben-mo
..