与PostgreSQL CTE的一般并行性 [英] General parallelism with PostgreSQL CTEs

问题描述

我正在处理一些大型数据，在我的查询中获得并行计划是必要的。我也非常喜欢使用CTE来表达我的查询，但是按照PostgreSQL的文档，我不太确定CTE是否会对并行性造成严重的限制。

Here，CTE和临时表标记为‘并行受限’，其中‘并行受限’定义为

并行受限操作是指不能在并行工作进程中执行，但可以在使用并行查询时在领导进程中执行的操作。

Here，关于考虑CTE的并行限制的描述略有不同：

如果查询包含顶层或CTE内的数据修改操作，则不会为该查询生成并行计划。

在我的情况下，我没有任何数据修改操作。

CTE会在多大程度上限制我的并行计划的质量(如果有的话)？

公平地说，我很难理解第一个定义的含义。由于CTE可以被物化为临时表，因此我确信这一影响更加相关。第二个定义表明CTE并行性限制只与数据修改操作有关。

推荐答案

使用CTE很好，在大多数情况下不会妨碍并行执行。

限制是CTE处于并行先导进程的私有进程状态，因此并行工作者不能扫描它。除此之外，PostgreSQL将很乐意生成一个并行计划。

因此，需要避免的查询可能是

WITH a AS (SELECT ...)
SELECT ... FROM a JOIN b ...

如果您希望将联接并行化。CTE内部的查询可以并行化(我认为)，扫描b也可以并行化。

为实现最佳并行化，您可以尝试将查询重写为

SELECT ...
FROM (SELECT ...) AS a
   JOIN b ...

这篇关于与PostgreSQL CTE的一般并行性的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！