将python模块导入Databricks中的python脚本
我正在Azure DataFactory中处理一个项目，并且我有一个运行Databricks python脚本的管道。这个特定的脚本位于Databricks文件系统中，由ADF管道运行，它从位于同一文件夹(两个脚本都位于dbfs:/FileStore/code中)的另一个Python脚本导入模块。 下面的代码可以将python模块导入Databricks笔记本，但在导入python脚本时不起
..
azure-data-factory相关内容
使用Azure Data Factory将数据加载到Snowflake时出现问题
我正在尝试使用Azure Data Factory将一个小型数据表从Azure SQL导入到Snowflake。 通常情况下，我使用此方法不会有任何问题： https://docs.microsoft.com/en-us/azure/data-factory/connector-snowflake?tabs=data-factory#staged-copy-to-snowflake 但是现在我
..
如何使用复制活动中的复制前脚本根据源中的更改跟踪表删除接收器中的记录？
我正在尝试使用更改跟踪以增量方式将数据从SQL Server复制到Azure SQL数据库。我遵循了Microsoft Azure文档中的tutorial，但在为大量表实现此操作时遇到了一些问题。 在复制活动的源部分中，我可以使用一个查询，该查询为我提供了一个更改表，其中包含自上次更改跟踪版本以来更新、插入或删除的所有记录。此表看起来类似 PersonID Age Name
..
如何在Azure数据工厂中执行SQL查询
我在ADF中创建了一个用于执行复制活动的管道。我的源数据库是Azure SQL数据库，Sink是Azure Blob。一旦数据复制到Blob，我希望在ADF中执行SQL查询以从源删除数据。我不允许使用复制或查找来执行查询。他们是否有任何自定义方式来执行此操作。我需要创建视图，并且必须执行一些操作。请帮助 sql 如果您使用的是数据映射流，则有一个执行自定义推荐答案脚本的新活动：
..
适用于Salesforce的Azure数据工厂链接服务(Salesforce中的API访问问题)
我正在尝试使用Azure Data Factory上的链接服务连接到Salesforce，但收到以下错误(连接失败)： ERROR [HY000] [Microsoft][Salesforce] (80) Unknown error received from SOAP response, potentially a problem with user privileges. 我已按照以
..
从数据工厂授权Azure Function App http终结点
我们目前正在Azure Data Factory中开发一个ETL解决方案，该解决方案需要调用Azure函数App HTTP触发器。我们的Data Factory实例已配置托管标识，我想知道如何保护Azure Function App以仅允许从Data Factroy托管标识进行访问？ 我以前使用过Azure Function Apps系统分配的托管标识来访问其他资源(密钥库)，因此我理解基本
..
以编程方式将文件从 Azure Blob Storage 传输到 Google Cloud Storage
我有许多文件通过 Azure 数据工厂传输到 Azure Blob 存储.不幸的是，这个工具似乎没有为任何值设置 Content-MD5 值，所以当我从 Blob Storage API 中提取该值时，它是空的. 我的目标是将这些文件从 Azure Blob 存储转移到 Google 存储.我在 https:///cloud.google.com/storage/transfer/refer
..
从 azure 数据工厂调用 azure 函数端点时出错
我在数据工厂管道中链接了 azure 函数，该管道将文本文件写入 blob 存储azure 函数在独立执行并将文件写入 blob 存储时工作正常但是当我从数据工厂运行 azure 函数时，我遇到了下面提到的错误 {“错误代码":“3600"，"message": "调用端点时出错.","failureType": "用户错误",“目标":“Azure Function1"} 我已将 azure
..
从数据工厂授权 Azure Function App Http 端点
我们目前正在 Azure 数据工厂中开发一个 ETL 解决方案，该解决方案需要调用 Azure Function App HTTP 触发器.Out Data Factory 实例配置了托管标识，我想知道如何保护 Azure Function App 以仅允许来自 Data Factroy 托管标识的访问? 我以前使用过 Azure Function Apps 系统分配的托管标识来访问其他资源
..
具有对象 ID 的客户端无权在范围内执行操作“Microsoft.DataFactory/datafactories/datapipelines/read"
我试图以编程方式从 azure 函数调用数据工厂管道.它抛出以下错误. 链接:http://eatcodelive.com/2016/02/24/starting-an-azure-data-factory-pipeline-from-c-net/ AuthorizationFailed:对象 ID 为“XXX829e05'XXXX-XXXXX"的客户端“XXXX-XXXXX-XXXX
..
Azure 数据工厂测试框架
是否有可用于 azure 数据工厂管道的自动测试机制?azure 数据工厂 Visual Studio 项目是否附带任何自己的测试套件?任何帮助都非常感谢 谢谢 解决方案 我不知道，但很高兴被告知. 我建议您将此作为反馈意见发布在 Microsoft 的用户语音页面上.然后搜索的人会来到这里，转到该链接并投票以开发一些东西. https://feedback.azure.
..
PowerBI 通过 Azure 数据工厂刷新
我根据帖子“https://www.moderndata.ai/2019/05/powerbi-dataset-refresh-using-adf/#comment-2610"开发了一个管道. 但是我不断收到错误“调用 Web 活动失败，并在 CALL DATASET REFRESH WEB 活动中出现 HttpStatusCode - 'Unauthorized', message - '
..
通过 Azure 数据工厂刷新 Power BI 数据集
有没有办法通过 Azure 数据工厂刷新 Power BI 数据集? 我发现有一个 REST API (https://powerbi.microsoft.com/en-us/blog/announcing-data-refresh-apis-in-the-power-bi-service/),可以用来执行此任务，但我正在努力验证并传递相同的授权令牌. 请建议我们还有哪些其他备选方案?
..
使用 SQL 命令中的 Order by/sort 和 Merge Join 优化数百万行的 SSIS 包
嗨，当我执行 Upsert/delete 时，我目前正在尝试优化 SSIS 包，该操作从远程 MariaDB 源中的表中处理大约 93 多万行.该表还包含大约 63 列. 目前我在我的包中使用 Sort and Merge Join 但正如我阅读了一些指南，它建议在服务器中进行排序部分而不是使用 SSIS DT 中的排序功能，因为它会给SSIS 服务器内存. 由于我目前在 Azure
..
Azure 数据工厂和 SharePoint
我在 SharePoint Online 中存储了一些 Excel 文件.我想将 SharePoint 文件夹中存储的文件复制到 Azure Blob 存储. 为了实现这一点，我使用 Azure 门户在 Azure 数据工厂中创建了一个新管道.使用 Azure 数据工厂管道将文件从 SharePoint 复制到 Azure blob 存储的可能方法有哪些? 我查看了 Azure 数据工
..
如何在 Azure 数据工厂中使用这个 Rest API
我有一个 REST API，我需要从 Azure 数据工厂调用并将数据插入到 SQL 表中. API返回的JSON格式如下: {“服务响应":{"supportOffice": "EUKO",“总页数":5，“页面编号":1，“每页记录":1000，“项目":[{ "projectID":1 ...} , { "projectID":2 ...} ,...]}} 网址格式为http://
..
.net Core:如何从 C# 代码传递参数和运行 Azure 数据工厂管道?
我正在使用 Microsoft.Azure.Management.DataFactories .net 核心包. 我正在使用以下代码获取访问 C# .net 核心中 azure 数据工厂管道所需的令牌: public static void RunDataFactoryPipeline(){尝试{var context = new AuthenticationContext("" + ""
..
如何使用 Databricks Activity 在 ADF 上实施 DevOps
我正在尝试在 ADF 上实施 DevOps，并且成功地使用了具有从 ADLS 位置和 SQL 获取数据的活动的管道. 但现在我有一个管道，其中一项活动是从 dbfs 位置运行 jar 文件，如下所示. 此管道将运行位于 dbfs 位置的 jar 文件并继续. 集群的连接参数如下所示. 将 ARM 模板从 dev ADF 部署到 UAT 实例(该实例具有数据块的 UAT 实例
..
如何使用 Databricks Activity 在 ADF 上实施 DevOps
我正在尝试在 ADF 上实施 DevOps，并且成功地使用了具有从 ADLS 位置和 SQL 获取数据的活动的管道. 但现在我有一个管道，其中一项活动是从 dbfs 位置运行 jar 文件，如下所示. 此管道将运行位于 dbfs 位置的 jar 文件并继续. 集群的连接参数如下所示. 将 ARM 模板从 dev ADF 部署到 UAT 实例(该实例具有数据块的 UAT 实例
..
如何绕过 Azure 数据工厂 ARM 模板参数限制?
我在 Azure 中创建了一个数据工厂，其中有大约 10-15 个管道，它们都运行良好，我可以在我设置的测试数据工厂上调试和运行它们而不会出现问题.我还使用 CI/CD 管道设置了 Azure DevOps 与数据工厂的集成. 最初这个管道也运行良好，我能够使用生成的 ARM 模板在生产数据工厂实例上重新创建管道/触发器/等. 现在我向数据工厂添加了更多内容，现在当它生成 ARM 模板
..