Python方式链接python生成器函数以形成管道 [英] Pythonic way to chain python generator function to form a pipeline

问题描述

我正在使用python进行管道代码重构。

假设我们有一系列生成器函数，并且我们希望链接这些函数以形成数据处理管道。

示例：

#!/usr/bin/python
import itertools

def foo1(g):
    for i in g:
        yield i + 1

def foo2(g):
    for i in g:
        yield 10 + i

def foo3(g):
    for i in g:
        yield 'foo3:' + str(i)

res = foo3(foo2(foo1(range(0, 5))))

for i in res:
    print i

输出：

foo3:11
foo3:12
foo3:13
foo3:14
foo3:15

我不认为foo3(foo2(foo1(range(0, 5))))是实现我的流水线目标的蟒蛇方式。尤其是当流水线中的级数很大时。

我希望我可以在jQuery中像Chain一样重写它。类似于：

range(0, 5).foo1().foo2().foo3()

或可能

l = [range(0, 5), foo1, foo2, foo3]
res = runner.run(l)

但我不熟悉生成器主题，找不到实现此目的的方法。

欢迎任何帮助。

推荐答案

我有时喜欢在这种情况下使用左文件夹(在Python语言中称为reduce)：

from functools import reduce
def pipeline(*steps):
    return reduce(lambda x, y: y(x), list(steps))

res = pipeline(range(0, 5), foo1, foo2, foo3)

甚至更好：

def compose(*funcs):
    return lambda x: reduce(lambda f, g: g(f), list(funcs), x)

p = compose(foo1, foo2, foo3)
res = p(range(0, 5))

这篇关于Python方式链接python生成器函数以形成管道的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！