AzureDataFactory相关内容
Azure数据工厂中的Salesforce连接器是否使用Bulk API?或者有这样做吗? 从Salesforce到Azure SQL DB(美国东部),我得到的速度仅为3-4 Mbps.我尝试使用查询方法(这是我们首选的方法,因为我们要进行增量加载)和对象方法,但是两者仍然很慢. 只需寻找加快速度的方法. 解决方案 根据此:要提高性能,可以使用并行复制和分段复制.希望这个
..
使用ADF需要将数据从cloud dynamics365复制到sql.看起来ADF不支持快速创建目标表.有什么办法吗提取创建表定义来自动力学实体? 从SQL到SQL的即时创建支持吗?如果是,那么如何实现? 请就以上两个问题提出建议? 解决方案 我认为您要描述的内容无法在ADF复制活动中本机完成,并且没有“创建表"活动.您可能是由于使用“存储过程"活动,也可能是由于使用了“预复制
..
需要向我的公司预测天蓝色数据工厂的定价,并且对定价计算有些困惑.赞赏是否有人可以建议以下情况的大概费用 ADF V2 不.管道数量:5 预定执行间隔:每天8次(每3小时一次) 每个pipleline的数据副本:100Mb 管道平行度:2 每个pipleline运行时间大约:10分钟. Azure集成运行时 解决方案 我们有可用的在线定价计算器,请按照此
..
我正在尝试将表从Azure上的SQL Server复制到AWS上的S3.我可以轻松创建S3源,其中列出了可用的正确存储桶.连接到Azure数据库也可以正常工作.但是,为了将S3用作接收器,我需要 如果我理解正确,请使用集成运行时.是否有任何适当的文档(或ARM模板示例)将数据从数据库复制到S3? 解决方案 嗨, 当前,Azure数据工厂不支持将Amazon S3作为复制接收器.此
..
你好 我们正在同一订阅中使用两个ADF实例,它们位于不同的资源组中.第一个ADF1将文件放入数据湖.放置文件后,ADF2应该触发管道以将其加载到SQL DB中. 两种ADF都使用不同的用户来运行管道.请分享最佳方法,以无缝地对传输进行排序.建议使用其中一种方法来创建脚本,以将两个管道运行组合在一起.寻找替代品 方法. 谢谢 Sundar Viswa 解决方案 类似是您所需
..
嗨, 我有一个带有Mongo API的CosmosDB. 我必须将数据从Cosmos DB转储到Azure SQL. 与Cosmos DB链接作为数据源时,我曾使用过MongoDB连接器. 我创建了一个复制活动,该活动成功运行. 但是问题是字符串get被截断为255.当我的字符数超过255个时,数据将被截断. 这是Azure Data Factory for M
..
嗨, 我的要求是使用ADF将数据从Excel Sheet加载到Azure Db. 我正在尝试使用Azure数据工厂集成运行时,但是问题是我具有Excel的源文件. 我已经将excel文件加载到Azure Blob存储中,但是我看到我们只能使用Blob存储中的 文本或Avro 格式, 我只需要使用excel文件,因为列中的数据包含逗号,制表符,竖线的定界符. 请为我提供解
..
你好 我有一个Blob容器,每隔6小时就会放置一些包含数据的json文件,我想使用Data Factory将其复制到Azure SQL DB.文件的文件模式如下:"customer_year_month_day_hour_min_sec.json.data.json" blob容器还具有其他json数据文件,因此我对数据集中的文件进行了过滤. 第一个问题是如何设置Blob数据集上
..
我有两个管道以及在Azure Portal数据工厂UI中显示的关联数据集.我删除管道,发布并显示管道已删除.刷新界面显示它们尚未被删除. 解决方案 你好, 在EastUS中没有看到此消息,您的数据工厂在哪个区域?我可能会不时看到这可能是浏览器问题.如果您让我知道您的数据工厂位于哪个区域,我将尝试复制.
..
你好, 我们有复制活动,可将数据从blob移动到CosmosDB 在复制活动中,是否有一种方法可以使用blob元数据从源Blob文件动态生成模式? 谢谢 解决方案 嗨, 您可以使用 获取元数据活动以动态获取blob元数据,然后使用谢谢.
..
我知道我可以从Azure门户在Azure数据工厂中运行失败的切片.但是,如果我有很多失败的切片,那么我必须单击每个失败的切片,然后手动重新运行它.我想知道那里是否有捷径可供选择 解决方案 您好, 有一些选择.在门户中,您只能选择运行每个失败的切片. https://blogs.msdn.microsoft.com/bigdatasupport/2016/08/31/rerunn
..
在ADFv2中,是否可以编写作业,将唯一的源表结构复制到目标位置? 解决方案 嗨, 是的,您可以使用 获取元数据活动,首先获取源表的结构,然后使用"来获取结构输出. 如果目标位置是基于sql的数据存储,则可以使用S
..
大家好, 问候.. !! 在每个部分,都可以看到添加动态内容[Alt + P].您可以通过示例来帮助我. 此致 解决方案 嗨,Mahesh, 添加动态内容使您可以引用 表达式添加到管道/活动/数据集中的属性.例如,我可以将管道参数引用到管道中的属性,这样我可以在管道级别传递不同的值以启用动态管道运行时,请参见图片 下方: ADF中的参数概念与编程语言中的功
..
我正在尝试使用C#和SQL构建元数据框架,其中在Blob存储中几乎没有excel文件,并且在进行一些转换之后,这些文件将被加载到Azure SQL数据库中.请你 提示我应该在ADF中创建哪种活动以推动整个流程? 解决方案 嗨, 您可以链接 转换活动和 复制活动以实现此工作流程. ADFv2提供了各种 针对不同情况进行转化活动.您可以找到满足您要求的一个. 谢谢.
..
步骤3:我创建了一个复制活动,并且在ifeach内创建了一个活动. 完成上述所有步骤后,情况就来了,在U-SQL脚本中,我需要插入 三列. 请让我知道在哪里创建参数以及如何使用U-SQL动态插入参数 脚本. shankar 解决方案 你好Shankar, 如果我理解正确,则查找活动将返回三列,因此您只需要在复制活动之后链接U-SQL活动,并传递' @activi
..
我的管道可能随时因以下错误而失败.我可以重新启动几次,最终成功.关于这可能是什么的任何想法?它说这是用户错误,它指向活动,但最终(重新启动后) 管道),它会越过该点,并可能在完全不同的点失败,并显示相同的消息",否则它可能会完全成功. DTU和内存使用没有达到极限.有什么建议吗? {"errorCode":"BadRequest","message":"'Type = System.Net.
..
你好 为ADF的数据复制功能创建链接服务时遇到了问题. 当凭据以及服务网址输入测试连接成功.但是,在单击“完成"按钮时,出现以下错误: 无法读取未定义的属性'Symbol(Symbol.iterator)'. 任何解决方案将不胜感激.请做有需要的人. 谢谢. 解决方案 嗨, 什么类型的链接服务?
..
JSON文件如下所示: { "名称":"*********", “属性":{ " description":“", " hubName":"******", " type":"CustomDataSource", "typeProperties":{
..
嗨, 我正在使用Microsoft Azure数据工厂进行项目.必须使用HTTP链接服务访问远程数据服务器以导入数据.我已经在Azure Key Vault中创建了证书.创建http链接服务时遇到以下问题: 1.当我在证书位置类型中选择嵌入式数据时, 什么是嵌入式证书数据以及如何获取它? 2.为此,我具有 Azure Key Vault链接服务.我不知道如何获取秘密名称?
..
我正在尝试使用个人访问令牌(PAT)从VSTS REST API中获取数据.通常,使用C#或Powershell解决方案很容易,但是考虑到我们使用本机应用程序访问云端点,肯定会浪费很多时间. 我的问题是关于ADF的!!我们能否使用ADF来访问VSTS REST API(具有集成的身份验证方法),解析json响应& 解决方案 NitinSapru, 从表面上看,您应该能够使用
..