AzureDataFactory相关内容

无法从ADF访问带有防火墙/虚拟网络的Blob存储

如果 您的Blob存储受到保护,仅允许从选定的网络(虚拟网络)和Azure受信任的服务进行访问,那么Data Factory链接的服务将无法连接. 解决方案 推荐的方法是设置自托管IR,并将托管自托管IR的计算机的IP地址列入白名单. 您可以引用此自托管的IR文档 这里. ..
发布时间:2019-06-18 23:56:11 其他开发语言

将XML文档从一种模式映射到另一种

嗨, 我是Azure Data Factory的新手,所以这个问题可能看起来很愚蠢. 我有一个需求,其中一个符合模式的xml文档需要转换为另一种模式进行确认的文档.想知道如何在Azure数据工厂中实现这一目标. 此致 Saurabh 解决方案 ADF无法直接读取xml文件.但是您可以在SSIS的帮助下实现这一目标. 使用ADF v2和SSIS来将数据从XM ..
发布时间:2019-06-18 23:56:06 其他开发语言

导入时的ARM连接字符串

嗨, 我已经创建了一个Azure数据工厂,并且我想快速部署多个实例.我认为ARM软件包非常适合.我已导出文件,然后尝试再次导入.当我尝试导入时,它要求输入连接字符串. 在Json代码中,它是"secureString". 我是否只需要在此输入密码?还是我必须生成其他东西? 再次感谢! 示例: { "$ schema":"https://schema.manag ..
发布时间:2019-06-18 23:56:03 其他开发语言

如何将Onprem Vertica数据库移至Cloud Vertica数据库

您好, 我想将本地Vertica/Oracle数据库移动到Azure Vertica/Oracle VM/Database.能否帮助我进行迁移,我们有没有可以处理所有问题的迁移工具 解决方案 嗨,ADF支持Vertica作为源.因此,您可以使用此连接器读取数据.但是ADF不支持将其作为接收器.因此,您可能需要使用 ODBC 将数据写入其中. ..
发布时间:2019-06-18 23:55:54 其他开发语言

在将平面文件中的数据提取到数据工厂上的表时,需要在数据库列中插入日期

你好团队 我需要一个有关数据工厂的技术建议. 现在我在ADLS上有一个abc.txt文件,文件有6列,而我有一个表abc有7列(abc.txt中有6列,日期有1列). 我已经创建了具有复制活动的数据工厂管道,现在我需要使用utnow()函数进行日期列映射,以便在管道被触发时可以获取今天的日期. 请告知! 请告诉我您是否需要帮助 问候 Ravi 解决方 ..
发布时间:2019-06-18 23:53:41 其他开发语言

查找活动查询需要在where子句中使用字段数据值

我正在执行查找活动,其中正在为我的Azure SQL接收器提供SQL查询.查询的where子句需要使用来自源的实际数据(经过一个If活动后).我尝试了几次,但我可以 不成功.请帮忙. 解决方案 Ray, 您能否提供有关要放入查询中的哪种源数据的更多详细信息? 基本上,我们使用 这样的表达式 从@ {activity('formerActivity').output.som ..
发布时间:2019-06-18 23:41:24 其他开发语言

Azure:如何使用Powershell触发ADF管道?

大家好, 我已经创建了Azure数据工厂管道,并根据计划触发了运行管道.但是现在,我需要使用powershell脚本运行管道.请提出建议. 谢谢 julie 解决方案 朱莉, 调用- AzureRmDataFactoryV2Pipeline 将启动管道.并且 Start-AzureRmDataFactoryV2Trigger 将 启动触发器. 请尝试一下 ..
发布时间:2019-06-18 23:41:00 其他开发语言

ADF-检查Azure存储帐户中Blob的存在

专家您好, 要求是从Azure Blob中提取数据并在ADwaas中加载(Azure数据仓库) 我已经创建了Dataset和Pipeline,一切似乎都工作正常,并且可以将数据从Blob很好地加载到Azure Dwaas Table. 问题: 如果Azure存储帐户中不存在Blob->容器,然后管道失败,并显示类似 的错误 “找不到Blob" 如何克服这个问题,仅当存在 ..
发布时间:2019-06-18 23:38:24 其他开发语言

如何执行Python脚本位于使用ADF的vm中.

大家好, 我有一个Python脚本驻留在Azure VM中.此脚本使用此VM中的几个本地文件.我需要创建一个ADF管道将 执行此python脚本驻留在此本地VM中.由于脚本是放在前提下的,所以我不能使用 ADF的任何群集活动.所以基本上,管道应该连接到VM并触发脚本执行.我可以考虑使用ADF的Custom Activity并从那里触发Powershell命令到本地python脚本的选项.但不 ..
发布时间:2019-06-18 23:38:15 其他开发语言

Azure从Blob存储加载不包含文件的文件

嗨, 我是数据工厂的新手,我注意到我所有的Blob存储源数据示例都是针对每日或每月文件夹中的文件的.或刷新的数据使数据工厂正在按小时进行切片. 我的情况是,我们获得了数据文件,(这些文件可以替换为具有更新指标的新文件. 我只想将数据加载到快照表中 一旦加载,这些文件将从文件夹中删除,准备添加新批次 我不确定如何在Azure DF中处理此特定数据示例.开始和结束在管道中 ..
发布时间:2019-06-18 23:34:49 其他开发语言

自定义活动失败.我错过了哪一步?

解决方案 我丢失了exe需要引用的dll,因此我将它们添加到Blob容器中,并且管道成功,但实际上从未调用过该API.当我测试运行exe时,它在本地运行,但不是从Azure运行.如果有连接 问题,我认为ADF管道会失败,但是不会.想法? ..
发布时间:2019-06-18 23:34:37 其他开发语言

获取当前活动运行ID

如何获取当前活动的ActivityRunId ... Activity('activityname').ActivityRunId 不起作用,因为它引用了父集合,例如例如在循环容器中. 似乎没有关于Activity()函数的文档. 谢谢. 肖恩 解决方案 如何获取当前活动的ActivityRunId ... Activity('activityname') ..
发布时间:2019-06-18 23:34:28 其他开发语言

在Azure中创建JSON链接服务

您好, 我已经在Azure Data Factory中创建了管道,数据集,链接服务,并且它正在运行.现在我想使用Json进行相同的操作. 我想使用Json调用链接服务,数据集和管道.有人可以帮助我如何在Json模板中做到这一点. 我找不到合适的文档该怎么做. 请帮忙. 谢谢 解决方案 嗨, 我不确定“使用Json调用链接的服务,数据集和管道"是什么意思. 您可以单击管道 ..
发布时间:2019-06-18 23:31:32 其他开发语言

Azure数据工厂和Shopify连接器

嗨, 我在Shopify中创建了一家商店,可以使用ADF中的HTTP连接器访问API.但是,我遇到了与我将单独发布的内容有关的问题. 无论如何,我决定尝试在预览中使用Shopify连接器.而且我只是无法使连接器正常工作.它要求访问令牌,而我所拥有的只是API密钥和API密码.我尝试了所有我能想到的组合 并被卡住. 有没有一种方法可以生成我不知道的访问密钥?不是key:passwo ..
发布时间:2019-06-18 23:28:31 其他开发语言

将数据从OData加载到Azure数据仓库第2代时出现ADFV2转换问题

有人可以帮助解决我遇到的错误吗?我正在将大量数据从odata(大约270个表)移至Data Lake,然后移至Data Warehouse;从OData到DL运行成功,但是从DL到数据仓库,我遇到了一些错误 我正在加载的表.某些大多数失败的表的列上的数据包含HTML标记. 我的问题是我如何使数据仓库接收这些HTML标记并将它们存储在表列中而不会出现错误. {"errorCode":"2 ..
发布时间:2019-06-18 23:25:06 其他开发语言

不能撰写&监控数据工厂

我无法编辑数据工厂.我在Azure企业帐户中拥有管理员权限.作者与作者“监视"按钮将打开一个新选项卡,但它将永久加载. 解决方案 也许将您正在使用的浏览器更改为其他浏览器.我知道Microsoft Edge也有类似的错误. ..
发布时间:2019-06-18 23:23:04 其他开发语言

访问两个日期之间生成的文件

嗨, 我正在使用Azure Data Factory V2将数据从本地源复制到Azure Sink.在源端,每天都会创建一个新文件夹,并在该文件夹下创建多个文件.我的要求是仅在两个日期之间复制文件夹 而不是一次复制所有内容.例如,自最近十天以来仅检索文件夹.我能够复制所有内容一次,但无法在两个日期之间复制数据. 正在寻求帮助/建议. 谢谢. 解决方案 嗨, 要复 ..
发布时间:2019-06-18 23:22:39 其他开发语言