如何获得星火map任务的ID？ [英] How to get ID of a map task in Spark?

问题描述

有没有办法让星火map任务的ID？例如，如果每个map任务调用一个用户自定义功能，可我得到的地图任务的ID从whithin用户定义的函数？

Is there a way to get ID of a map task in Spark? For example if each map task calls a user defined function, can I get the ID of that map task from whithin that user defined function?

推荐答案

我不知道你的意思是由ID映射的任务，但你可以通过访问任务信息 TaskContext

I am not sure what you mean by ID of map task but you can access task information using TaskContext:

import org.apache.spark.TaskContext

sc.parallelize(1 to 10, 3).foreachPartition(_ => {
    val ctx = TaskContext.get
    val stageId = ctx.stageId
    val partId = ctx.partitionId
    val hostname = ctx.taskMetrics.hostname
    println(s"Stage: $stageId, Partition: $partId, Host: $hostname")
})

这篇关于如何获得星火map任务的ID？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！