谷歌云数据流工作线程 [英] Google Cloud Dataflow Worker Threading

问题描述

假设我们有一个具有 4 个 CPU 内核的 worker.Dataflow 工作机器中的并行性如何配置?我们是否可以并行处理超过 # 个内核?

Say we have one worker with 4 CPU cores. How does parallelism configured in Dataflow worker machines? Do we parallelize beyond # of cores?

在哪里可以获得此类信息?

Where would this type of information be available?

推荐答案

对于批处理作业，每个内核使用一个工作线程，每个工作线程独立处理输入空间的一个块.

For batch jobs, one worker thread is used per core, and each worker thread independently processes a chunk of the input space.

对于流式作业，每个内核可以有更多的工作线程等待输入.

For streaming jobs, there can be many more worker threads per core to wait on input.

这篇关于谷歌云数据流工作线程的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！