多处理和SelSelence巨蟒 [英] Multiprocessing and Selenium Python

问题描述

我有3个驱动程序(Firefox浏览器)，我希望它们do something出现在网站列表中。

我有一个员工定义为：

def worker(browser, queue):
    while True:
        id_ = queue.get(True)
        obj = ReviewID(id_)
        obj.search(browser)
        if obj.exists(browser):
            print(obj.get_url(browser))
        else:
            print("Nothing")

因此，工作人员只需访问包含ID的队列，然后使用浏览器执行某些操作。

我希望有一个工作进程池，这样一旦工作进程完成使用浏览器在id_定义的网站上执行某些操作，它就会立即开始使用相同的浏览器在队列中找到的下一个id_上执行某些操作。然后我就有了这个：

pool = Pool(processes=3)  # I want to have 3 drivers
manager = Manager()
queue = manager.Queue()
# Define here my workers in the pool
for id_ in ids:
    queue.put(id_)
for i in range(3):
    queue.put(None)

这里我有一个问题，我不知道如何定义我的员工，以便他们在池中。我需要为每个司机分配一个Worker，所有Worker共享相同的ID队列。这个是可能的吗？我该怎么做？

我的另一个想法是创建一个浏览器队列，以便如果驱动程序什么都不做，它将由Worker获取，以及队列中的id_，以便执行新进程。但我对多处理完全陌生，实际上不知道如何编写这段代码。

感谢您的帮助。

推荐答案

您可以尝试在Worker中实例化浏览器：

def worker(queue):
    browser = webdriver.Chrome()
    try:
        while True:
            id_ = queue.get(True)
            obj = ReviewID(id_)
            obj.search(browser)
            if obj.exists(browser):
                print(obj.get_url(browser))
            else:
                print("Nothing")
    finally:
        brower.quit()

这篇关于多处理和SelSelence巨蟒的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！