使用Azure Data Factory中的Spark活动转换云中的数据 [英] Transform data in the cloud by using Spark activity in Azure Data Factory
问题描述
HI Team，
我正在关注此文档。我正在尝试使用官方文档中提供的步骤。
I am following this documentation . I am trying with the steps that are provided in official documentation.
当我尝试部署管道时，收到错误：
When i am trying to deploy the pipeline, getting error :
{
" errorCode"：" 2312"，
" message"：" Spark job failed，batch id：0"，
" failureType"：" UserError"，&
"" target"：" Spark1"
}
{
"errorCode": "2312",
"message": "Spark job failed, batch id:0",
"failureType": "UserError",
"target": "Spark1"
}
请求您为此提供输入。
Request you to provide input for this.
推荐答案
您好Ankur321，
Hi Ankur321,
注意： Spark日志文件将复制到由sparkJobLinkedService指定的HDInsight群集（或）使用的Azure存储中。允许值：无，始终或失败。默认值：无。
Note: The Spark log files are copied to the Azure storage used by HDInsight cluster (or) specified by sparkJobLinkedService. Allowed values: None, Always, or Failure. Default value: None.
您可以转到HDInsight链接服务引用的Azure Blob存储，您将找到日志。
You can go to Azure Blob storage referenced by the HDInsight linked service and you will find logs.
或
要解决您的问题，请按照以下步骤操作：
To resolve your problem, you follow the below steps:
- 在ADF中打开您的管道
- 单击您的spark活动
- 转到脚本/ jar，打开Advanced
- 将活动的调试信息设置为Always。
虽然你能够管道失败后查看日志。 ADF将为您的日志提供网址。它将位于jar根目录中的 log 目录中的链接存储中。
Though you be able to view logs after pipeline failed. ADFwill provide you url to your logs. It'll be on the linked storage in the log dir in the root of your jar.
检查日志以了解导致spark应用失败的原因。
Examine logs to understand what causes your spark app to fail.
希望这会有所帮助。
这篇关于使用Azure Data Factory中的Spark活动转换云中的数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
