如何在Data Factory中通过脚本操作创建HDInsightOnDemand LinkedService? [英] How to create a HDInsightOnDemand LinkedService with a script action in Data Factory?

问题描述

我们正在创建一个用于运行pySpark作业的DataFactory，该作业使用HDInsight点播群集.

We are creating a DataFactory for running a pySpark job, that uses a HDInsight on demand cluster.

问题在于，我们需要使用其他python依赖项来运行此作业，例如numpy，这些依赖项尚未安装.

The problem is that we need to use additional python dependencies for running this job, such as numpy, that are not installed.

我们相信，这样做的方法是为HDInsightOnDemandLinkedService配置脚本操作，但是我们无法在DataFactory或LikedServices上找到此选项.

We believe that the way of doing so is configuring a Script Action for the HDInsightOnDemandLinkedService, but we cannot find this option on DataFactory or LikedServices.

是否存在使依赖项的HDInsightOnDemand安装自动化的替代方法?

Is there an alternative for automating the HDInsightOnDemand installation of the dependencies?

推荐答案

当前不支持HDInsightOnDemandLinkedService的脚本操作.您可以使用Azure自动化来运行执行以下操作的PowerShell脚本:

Currently the Script Actions for HDInsightOnDemandLinkedService are not supported. You can use Azure Automation to run a PowerShell script that does the following:

1. 创建HDInsight群集
2. 执行脚本操作
3. 在您的DataFactory中运行管道
4. 删除集群.

这篇关于如何在Data Factory中通过脚本操作创建HDInsightOnDemand LinkedService?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！