AzureDataFactory相关内容

Salesforce数据连接器和BULK API

Azure数据工厂中的Salesforce连接器是否使用Bulk API?或者有这样做吗? 从Salesforce到Azure SQL DB(美国东部),我得到的速度仅为3-4 Mbps.我尝试使用查询方法(这是我们首选的方法,因为我们要进行增量加载)和对象方法,但是两者仍然很慢. 只需寻找加快速度的方法. 解决方案 根据此:要提高性能,可以使用并行复制和分段复制.希望这个 ..
发布时间:2019-06-19 04:05:10 其他开发语言

Azure数据因素创建表结构?

使用ADF需要将数据从cloud dynamics365复制到sql.看起来ADF不支持快速创建目标表.有什么办法吗提取创建表定义来自动力学实体? 从SQL到SQL的即时创建支持吗?如果是,那么如何实现? 请就以上两个问题提出建议? 解决方案 我认为您要描述的内容无法在ADF复制活动中本机完成,并且没有“创建表"活动.您可能是由于使用“存储过程"活动,也可能是由于使用了“预复制 ..
发布时间:2019-06-19 04:05:01 其他开发语言

Azure数据工厂v2定价计算有帮助吗?

需要向我的公司预测天蓝色数据工厂的定价,并且对定价计算有些困惑.赞赏是否有人可以建议以下情况的大概费用 ADF V2 不.管道数量:5 预定执行间隔:每天8次(每3小时一次) 每个pipleline的数据副本:100Mb 管道平行度:2 每个pipleline运行时间大约:10分钟. Azure集成运行时 解决方案 我们有可用的在线定价计算器,请按照此 ..
发布时间:2019-06-19 04:02:43 其他开发语言

帮助将Azure SQL数据库复制到AWS S3

我正在尝试将表从Azure上的SQL Server复制到AWS上的S3.我可以轻松创建S3源,其中列出了可用的正确存储桶.连接到Azure数据库也可以正常工作.但是,为了将S3用作接收器,我需要 如果我理解正确,请使用集成运行时.是否有任何适当的文档(或ARM模板示例)将数据从数据库复制到S3? 解决方案 嗨, 当前,Azure数据工厂不支持将Amazon S3作为复制接收器.此 ..
发布时间:2019-06-19 04:02:31 其他开发语言

触发两个ADF实例之间的管道

你好 我们正在同一订阅中使用两个ADF实例,它们位于不同的资源组中.第一个ADF1将文件放入数据湖.放置文件后,ADF2应该触发管道以将其加载到SQL DB中. 两种ADF都使用不同的用户来运行管道.请分享最佳方法,以无缝地对传输进行排序.建议使用其中一种方法来创建脚本,以将两个管道运行组合在一起.寻找替代品 方法. 谢谢 Sundar Viswa 解决方案 类似是您所需 ..
发布时间:2019-06-19 03:48:50 其他开发语言

在Azure数据工厂中,MongoDB连接器上的字符串字段被截断

嗨, 我有一个带有Mongo API的CosmosDB. 我必须将数据从Cosmos DB转储到Azure SQL. 与Cosmos DB链接作为数据源时,我曾使用过MongoDB连接器. 我创建了一个复制活动,该活动成功运行. 但是问题是字符串get被截断为255.当我的字符数超过255个时,数据将被截断. 这是Azure Data Factory for M ..
发布时间:2019-06-19 03:48:11 其他开发语言

使用ADF将Blob存储中的Excel数据加载到Azure DB

嗨, 我的要求是使用ADF将数据从Excel Sheet加载到Azure Db. 我正在尝试使用Azure数据工厂集成运行时,但是问题是我具有Excel的源文件. 我已经将excel文件加载到Azure Blob存储中,但是我看到我们只能使用Blob存储中的 文本或Avro 格式, 我只需要使用excel文件,因为列中的数据包含逗号,制表符,竖线的定界符. 请为我提供解 ..
发布时间:2019-06-19 03:43:13 其他开发语言

如何将Blob数据增量复制到SQL

你好 我有一个Blob容器,每隔6小时就会放置一些包含数据的json文件,我想使用Data Factory将其复制到Azure SQL DB.文件的文件模式如下:"customer_year_month_day_hour_min_sec.json.data.json" blob容器还具有其他json数据文件,因此我对数据集中的文件进行了过滤. 第一个问题是如何设置Blob数据集上 ..
发布时间:2019-06-19 03:41:36 其他开发语言

ADF V2管道/数据集将不会通过门户网站删除

我有两个管道以及在Azure Portal数据工厂UI中显示的关联数据集.我删除管道,发布并显示管道已删除.刷新界面显示它们尚未被删除. 解决方案 你好, 在EastUS中没有看到此消息,您的数据工厂在哪个区域?我可能会不时看到这可能是浏览器问题.如果您让我知道您的数据工厂位于哪个区域,我将尝试复制. ..
发布时间:2019-06-19 03:38:34 其他开发语言

ADF复制活动-Blob元数据作为源架构

你好, 我们有复制活动,可将数据从blob移动到CosmosDB 在复制活动中,是否有一种方法可以使用blob元数据从源Blob文件动态生成模式? 谢谢 解决方案 嗨, 您可以使用 获取元数据活动以动态获取blob元数据,然后使用谢谢. ..
发布时间:2019-06-19 03:36:33 其他开发语言

我可以在Azure门户中一次运行所有失败的切片吗

我知道我可以从Azure门户在Azure数据工厂中运行失败的切片.但是,如果我有很多失败的切片,那么我必须单击每个失败的切片,然后手动重新运行它.我想知道那里是否有捷径可供选择 解决方案 您好, 有一些选择.在门户中,您只能选择运行每个失败的切片. https://blogs.msdn.microsoft.com/bigdatasupport/2016/08/31/rerunn ..
发布时间:2019-06-19 03:36:24 其他开发语言

仅表结构复制作业?

在ADFv2中,是否可以编写作业,将唯一的源表结构复制到目标位置? 解决方案 嗨, 是的,您可以使用 获取元数据活动,首先获取源表的结构,然后使用"来获取结构输出. 如果目标位置是基于sql的数据存储,则可以使用S ..
发布时间:2019-06-19 03:33:40 其他开发语言

在每个部分中添加动态内容[Alt + P]的需求是什么

大家好, 问候.. !! 在每个部分,都可以看到添加动态内容[Alt + P].您可以通过示例来帮助我. 此致 解决方案 嗨,Mahesh, 添加动态内容使您可以引用 表达式添加到管道/活动/数据集中的属性.例如,我可以将管道参数引用到管道中的属性,这样我可以在管道级别传递不同的值以启用动态管道运行时,请参见图片 下方: ADF中的参数概念与编程语言中的功 ..
发布时间:2019-06-19 03:29:38 其他开发语言

使用C#和SQL使用Azure数据工厂将文件从Blob加载到Azure SQL数据库的元数据框架

我正在尝试使用C#和SQL构建元数据框架,其中在Blob存储中几乎没有excel文件,并且在进行一些转换之后,这些文件将被加载到Azure SQL数据库中.请你 提示我应该在ADF中创建哪种活动以推动整个流程? 解决方案 嗨, 您可以链接 转换活动和 复制活动以实现此工作流程. ADFv2提供了各种 针对不同情况进行转化活动.您可以找到满足您要求的一个. 谢谢. ..
发布时间:2019-06-19 03:29:09 其他开发语言

将参数传递和访问USQL脚本

步骤3:我创建了一个复制活动,并且在ifeach内创建了一个活动. 完成上述所有步骤后,情况就来了,在U-SQL脚本中,我需要插入 三列. 请让我知道在哪里创建参数以及如何使用U-SQL动态插入参数 脚本. shankar 解决方案 你好Shankar, 如果我理解正确,则查找活动将返回三列,因此您只需要在复制活动之后链接U-SQL活动,并传递' @activi ..
发布时间:2019-06-19 03:22:00 其他开发语言

ADF V2-间歇性错误最终自行解决“无法解析远程名称";

我的管道可能随时因以下错误而失败.我可以重新启动几次,最终成功.关于这可能是什么的任何想法?它说这是用户错误,它指向活动,但最终(重新启动后) 管道),它会越过该点,并可能在完全不同的点失败,并显示相同的消息",否则它可能会完全成功. DTU和内存使用没有达到极限.有什么建议吗? {"errorCode":"BadRequest","message":"'Type = System.Net. ..
发布时间:2019-06-19 03:21:46 其他开发语言

ADF相关查询

你好 为ADF的数据复制功能创建链接服务时遇到了问题. 当凭据以及服务网址输入测试连接成功.但是,在单击“完成"按钮时,出现以下错误: 无法读取未定义的属性'Symbol(Symbol.iterator)'. 任何解决方案将不胜感激.请做有需要的人. 谢谢. 解决方案 嗨, 什么类型的链接服务? ..
发布时间:2019-06-19 03:21:39 其他开发语言

数据工厂HTTP链接服务

嗨, 我正在使用Microsoft Azure数据工厂进行项目.必须使用HTTP链接服务访问远程数据服务器以导入数据.我已经在Azure Key Vault中创建了证书.创建http链接服务时遇到以下问题: 1.当我在证书位置类型中选择嵌入式数据时, 什么是嵌入式证书数据以及如何获取它? 2.为此,我具有 Azure Key Vault链接服务.我不知道如何获取秘密名称? ..
发布时间:2019-06-19 03:16:30 其他开发语言

是否可以使用Azure数据工厂从VSTS REST API进行get调用?

我正在尝试使用个人访问令牌(PAT)从VSTS REST API中获取数据.通常,使用C#或Powershell解决方案很容易,但是考虑到我们使用本机应用程序访问云端点,肯定会浪费很多时间. 我的问题是关于ADF的!!我们能否使用ADF来访问VSTS REST API(具有集成的身份验证方法),解析json响应& 解决方案 NitinSapru, 从表面上看,您应该能够使用 ..
发布时间:2019-06-19 03:09:28 其他开发语言