AzureDataFactory相关内容

使用Powershell部署ADF

嗨 我创建了一个ADF1,它具有一个管道并且可以正常工作,它是如何从一个Blob读取txt文件并将其复制为csv到另一个Blob的 现在,我将管道导出到我的桌面上,并获得2个zip格式的文件. 1-arm_template.json 2-arm_template_parameters.json 我还有一个空的ADF2(其中没有管道), 我想使用笔记本电脑中的Po ..
发布时间:2019-06-19 03:07:16 其他开发语言

Azure数据工厂V2-Web活动

我正在尝试使用Azure Data Factory中的Web活动将值插入和更新到Azure表存储中.它抛出以下错误, { "errorCode":"2108","message":“" strong>调用端点时出错","failureType":"UserError","target": "WebInsertTableBlob"; } 添加和更新条目的URL的正确格式应该是什么? ..
发布时间:2019-06-19 03:05:25 其他开发语言

ADF问题中的存储过程

嗨, 从SQL数据库到CosmosDB的增量副本遇到了问题. 我正在按照 {"errorCode":"2400","message":“无法创建Sql Source.请仔细检查连接字符串,存储过程设置为正确的格式. 错误:属性“值"的值对于存储过程参数"CurrentTrackingVersion"无效. } 我确实检查了连接字符串的详细信息.我已按照链接中的相同步骤进行操作. ..
发布时间:2019-06-19 03:05:22 其他开发语言

使用USQL获取ADL的作业ID

在Azure Data Lake Store中(主数据库或元数据存储)在何处存储已执行作业的信息?以及如何使用usql脚本获取这些ID?谢谢. 关于 解决方案 不确定是否可以通过USQL获得作业ID.但是我认为您可以使用Rest API来获得它. https://docs.microsoft.com/zh-cn/rest/api/datalakeanalytics/job/ ..
发布时间:2019-06-19 03:05:16 其他开发语言

无法识别的ICU转换错误-(ODBC错误)

嗨, 当在Azure数据工厂中从Salesforce提取数据时,我遇到了问题.我在ADF中使用默认的salesforce服务,并尝试获取id和description,其中description包含大量数据和一些特殊的垃圾字符.当我查询时 如果使用sql,则会显示错误“无法识别的ICU转换错误"(ODBC错误).我尝试替换特殊字符并进行转换,因此在sql中没有任何作用,因为我们需要在sql 9 ..
发布时间:2019-06-19 03:02:48 其他开发语言

'Microsoft.DataFactory'-超时

嗨, 我们正在尝试将数据从BW系统访问到Azure数据工厂,并且遇到以下错误. 网关在指定的时间段内未收到"Microsoft.DataFactory"的响应 我们如何解决此问题或如何解决 增加超时参数? 谢谢 John 解决方案 我希望您正在尝试建立与SAP BW系统的连接.请尝试以下 ,并告诉我们您是否仍然遇到同样的问题. ..
发布时间:2019-06-19 02:58:15 其他开发语言

复制和移动数据时进行文件验证并重新发送

您好,Azure专家 我有一个潜在的客户,希望使用ADF V2进行数据集成. 他们希望将超大文件从本地服务器移动并复制到云服务器,然后可能使用ADF进行数据集成. 我阅读了这篇文章-https://docs.microsoft.com/zh-cn/azure/data-factory/connector-file-system 我有以下问题:- 1. ADF复制功能可 ..
发布时间:2019-06-19 02:55:20 其他开发语言

基于ADF v2事件的触发器

嗨, 我们正在使用ADLS-Gen1作为存储.当前,ADF v2没有针对ADLS的基于事件的触发器.您能否让我知道何时才能获得基于事件的ADLS触发器? 谢谢 Soumitra. 解决方案 嗨Soumitra, 目前,产品团队正在考虑为ADLS第1代存储添加基于事件的触发器.一旦得到支持,就会有一个博客并将其更新为 此文档页面.请继续关注. ..
发布时间:2019-06-19 02:53:26 其他开发语言

ADF无法在“复制数据"任务中选择正确的源列

在“复制数据"源中,我正在使用以下查询: 您可以看到,我在结果集中添加了另外两个不属于基本表的列.当我转到“映射"选项卡时,这两列未显示在源代码中.我想他们应该吗? Randy Minder 解决方案 嗨, 能否请您检查“架构"?源数据集的一部分?我猜您在使用“导入模式"时已经设置了它.在“映射"中复制活动或“导入模式"的一部分;在“架构"中 源数据集的一部分,基表中 ..
发布时间:2019-06-19 02:53:11 其他开发语言

查找错误:不支持数据类型ByteArray

我正在关注以逐步从SQL Server的多个表中加载数据. 我们正在使用MS更改数据捕获(CDC),因此我们的高水位标记是最大lsn.查找运行:选择sys.fn_cdc_get_max_lsn()AS max_lsn " 以下是来自ADF的错误: “消息":"ErrorCode = DataType ..
发布时间:2019-06-19 02:46:48 其他开发语言

文件修改时间-USQL

嗨团队 我只需要获取共享路径中文件的最后修改日期("2018/07/30").我正在使用FILE.MODIFIED,但我无法从中单独提取时间. 文档链接:https://msdn.microsoft.com/zh-CN/azure/data-lake-analytics/u-sql/file-modified-u-sql 请帮助. 谢谢 香卡 shankar ..
发布时间:2019-06-19 02:46:30 其他开发语言

动态365实体元数据?

需要将动态365实体数据复制到sql服务器.易于理解的ADF不会为Dynamics 365提供Getmetadata功能. 是否有其他方法来获取动力学实体元数据,即表结构? 我只能想到,通过Kingsoftway连接器通过SSIS目标逐个创建单个表脚本.但是如何一次完成多个表的批量脚本创建呢? 解决方案 您可以使用 ..
发布时间:2019-06-19 02:46:09 其他开发语言

ADFv2-通过ARM模板部署到现有生产数据工厂

我有两个数据工厂,我们称它们为test-dfact和prod-dfact.我已经在test-dfact中完成了更改(例如重命名管道)并导出了ARM模板.我在arm_template_parameters.json中相应地为生产编辑了参数 环境,然后我启动了“导入ARM模板"来自prod-dfact.部署成功,但是prod-dfact现在拥有它以前做过的所有资源,以及ARM模板中的所有新功能.特别是 ..
发布时间:2019-06-19 02:39:12 其他开发语言

ADF文件副本

亲爱的ADF专家, 我找不到任何信息.在此.我的潜在客户正在考虑在很短的间隔内复制很多文件.复制功能(复制活动)是否有传输限制?例如,每分钟10次复制活动?如果他们安排时间会怎样? 每5秒复制10个相对较大的文件?我们需要手动微调性能吗? 谢谢 托马斯 解决方案 首先要弄清楚“复制"是指活动是“复制数据".活动 它复制"数据";不复制文件,基本上它会打开一个文件 ..
发布时间:2019-06-19 02:39:08 其他开发语言

Azure数据工厂v2-从Blob存储复制在空容器上失败

大家好, 我有一个管道,可以将文件从一个存储帐户容器复制到另一个存储帐户. 但是,当容器为空时,作业将失败,并显示以下错误: 缺少所需的Blob. 容器中没有文件. 基本云 | Twitter 解决方案 嗨,RalJans, 您可以首先使用 获取元数据活动和 如果条件活动检查该blob是否存在,然后仅在该blob存在的情况下才将数据复制到接收器存储. ..
发布时间:2019-06-19 02:39:06 其他开发语言