AzureDataFactory相关内容

从本地计算机上删除孤立的IR服务

我已经丢失了数据工厂资源,而没有注销本地集成运行时.如何摆脱本地计算机的服务? 解决方案 您可以从本地计算机上卸载Integration Runtime,然后选择“是".在卸载过程中要求您清除本地数据时.此操作将从原始数据工厂中取消注册集成. ..
发布时间:2019-06-18 23:16:44 其他开发语言

ADF-Webactivity错误

问题: 由于添加了链接服务和数据集,Web活动错误出乎意料 场景: 将Web活动添加到管道中并配置为在Azure表存储中插入行时,我们会观察到已链接的服务和数据集属性会自动添加到该活动下,且值为空.这种情况仅在重复发生 打开网络活动进行任何编辑操作,如上所述,这是不可预测的. 创作管道时请参考以下内容, 执行时,收到以下错误, InvalidInput错误 ..
发布时间:2019-06-18 23:06:11 其他开发语言

Databricks读取XML文件

你好 我正在尝试将一个充满XML文件的目录读入SQL DW.首先使用Azure Functions进行了此操作,但是得到了建议,建议在使用Polybase时切换到Databricks以减少服务器负载.每小时大约有20.000个文件. 但是我找不到任何有关如何在python中读取xml文件的示例.我为python本身找到了一些简单的示例,但是当尝试导入那些脚本中的库时,它会失败. ..
发布时间:2019-06-18 23:06:08 其他开发语言

使用过滤条件复制活动

我有一个Copy活动,该活动将Blob存储中存储的数据复制到Azure Datawarehouse.但是,我想从源中筛选出某些记录,然后再将其复制到仓库中.如果有的话,实现此目标的最佳方法是什么?我看着过滤器 活动,但不知道如何通过复制活动将其放入管道中. 请注意,数据集很小(只有几千行),因此在这种情况下,我不需要Polybase复制. 解决方案 嗨 您能否分享更多细节 ..
发布时间:2019-06-18 23:05:46 其他开发语言

无法在Data Management Gateway上注册密钥以连接本地数据源

嗨, 我正在探索azure数据工厂,并为我们的新客户创建POC.我能够在个人笔记本电脑上创建数据网关,并能够将数据从本地SQL服务器成功加载到Azure SQL DB.但是当我试图在办公室做同样的事情时 机器我无法在数据管理网关上注册密钥.您能帮忙解决这个问题吗? 在数据管理网关窗口中获取以下错误消息. "网关在注册期间遇到错误. 数据管理网关无法连接到云服务以解决网络连接 ..
发布时间:2019-06-18 23:03:11 其他开发语言

在使用Integration Runtime在Azure Data Factory中部署包之后,如何读取SSIS包中的外部dll.

嗨, 我创建了一个SSIS软件包,其中我在脚本组件中使用了外部dll,但是即使我从Visual Studio中运行该dll也无法加载这些dll.决定将这些dll文件存储在C驱动器的计算机驱动器上.并写了 一个C#代码,以便在我程序包的脚本组件中使用c驱动器加载这些dll,这样它就可以在Visual Studio和同一台计算机上正常工作. 但是我需要使用Azure在云上运行该程序包,因此 ..
发布时间:2019-06-18 23:03:02 其他开发语言

ADFV2-Azure搜索服务和事件触发器ARM导出未提供用于配置url(搜索)和存储帐户连接字符串(事件触发器)的选项

在Azure Data Factory V2中, 在为Azure搜索导出带有链接服务的ARM模板时,没有提供为不同环境配置搜索URL的选项. 使用事件触发器导出ARM模板时,它没有提供配置特定于环境的Blob存储帐户连接字符串的选项. 解决方案 我可以对此进行复制.我们会尽快进行调查,并在找出根本原因后向您更新. 作为一种解决方法,也许您可​​以自己编辑arm_tem ..
发布时间:2019-06-18 23:02:38 其他开发语言

Azure管道将blob文件加载到文件名是动态的Azure SQL数据库

大家好, 您能帮我以下吗? 我在同一个Blob中有两个文件 2018-10-23_Depot 2018-10-23_DockType 两个文件数据都应放在两个不同的表中(表名-Depot,DockType) 日期每次都在改变.但是文件的剩余名称始终相同,不会更改 如何通过ADF管道加载这些文件,以及如何将文件名作为“软件仓库"传递和"DockType"在管 ..
发布时间:2019-06-18 23:00:27 其他开发语言

检索"DataExtension".使用Azure数据工厂从Salesforce Marketing Cloud获得数据

你好 我想从与Azure数据工厂连接的"DataExtension"(存储在Salesforce Marketing Cloud中的用户表)中查询数据. 不过,当我看到Data Factory的“现有表"菜单中,我只能看到系统表. 您能告诉我我该怎么做吗? 我想我需要为“数据扩展"指定架构名称.而不是"SFMC.dbo".但是我不知道它的名字. 来源如下. “源":{ ..
发布时间:2019-06-18 22:56:32 其他开发语言

无法将SAP BW系统连接到Azure数据工厂

大家好, 我能够通过使用Azure数据工厂中的自托管集成运行时来连接SAP BW系统. 当我选择BW对象并选择“下一步"时,出现以下错误.我已经尝试了很多次,但无法提取BW数据. 你能看看吗? 错误:云服务请求超时.请重试.活动ID:5e01d20a-de63-4463-a712-d1bfe70e237d 解决方案 Manish,您能否检查80和443端口是否在自托 ..
发布时间:2019-06-18 22:52:42 其他开发语言

Azure数据工厂ADF V2 Web活动未通过集成运行时连接到内部RestAPI

有人尝试过使用Web活动(ADF V2)通过Integration运行时调用本地rest api.我已经设置了IR并将其设置在链接服务中以进行Web活动,但是在通过触发器进行调试/运行时,它没有使用Integration runtime(我已签入 监视IR). 我通过IR测试了复制活动,并且可以正常工作,但是我想调用仅在Web活动中受支持的PUT命令 解决方案 Hi , ..
发布时间:2019-06-18 22:46:41 其他开发语言

每天移动100 GB数据

我想使用Azure Data Factory管道将100 GB的数据从Azure数据湖移动到Azure表存储. 此刻,我在ADL中有一个100 GB的文件,其中有几列: 分区(带有2个字符的字符串) 键(字符串) 日期(日期) Column1(整数) Column2(整数) 我试图运行管道,但是它的运行速度比预期的要慢得多(如果我继续进行下去,它将运行几天 ..
发布时间:2019-06-18 22:42:27 其他开发语言

ADFv2-如何在USQL作业中处理来自不同文件夹的多个输入文件

大家好, 我们需要使用Azure数据工厂和USQL处理来自不同文件夹的多个文件. 这是我们拥有的文件夹结构 年份->月->天 我们有一个用于每个日期的文件夹,例如1,2,3 ... 31.要求是从特定文件夹中读取文件,并将其传递给USQL进行分析处理.我们需要处理多个日期的数据.数据工厂中有什么方法可以从多个工厂读取数据 文件夹. 示例:我需要读取特定月份的日期,1, ..
发布时间:2019-06-18 22:32:20 其他开发语言

从带有HTTP连接器的Rest API动态读取JSON

解决方案 伊万, 请查看"ForEach"迭代操作: Azure数据工厂中的ForEach活动 使用Azure数据工厂从HTTP终结点复制数据 与堆栈溢出相关的线程: 如何配置动态Azure数据工厂中的httpfile源? 如果您还有其他疑问,请告诉我们.另外,您能否将您提到的另一个MSDN线程链接到该线程.它可以帮助其他人找到解决方案. 此致 ..
发布时间:2019-06-18 22:31:50 其他开发语言

如何在复制活动中正确格式化日期时间.格式化导致复印活动时接收错误

我有从blob到sql服务器的复制活动.在此活动期间,我会收到一个错误信息 消息=列'sys_created_on'包含无效值'" 2018-10-30 PDT 20:12:25".无法转换'"" 2018-10-30 20:12:25 PDT"'键入"DateTime"., 我的问题是,如何正确设置此格式.我认为是需要清除的PDT.我看到了格式选项,但不确定在此放置什么.感谢您的任何 ..
发布时间:2019-06-18 22:28:07 其他开发语言

网络活动1分钟超时阈值

最近,我们的数据流已开始失败.经过调查,这是因为我们打电话给一个网络活动,该活动过去通常需要57-58秒,而现在却需要63-68秒.经过研究,我发现我们无法 根据这些文章/帖子提供60秒以外的任何超时时间: https://docs.microsoft.com/en-us /azure/data-factory/control-flow-web-activity 我的问题是,有没有解决 ..
发布时间:2019-06-18 22:21:46 其他开发语言