pyppeteer相关内容

Python:Pyppeteer with Asyncio

我正在做一些测试,我想知道下面的脚本是否异步运行? # python test.py It took 1.3439464569091797 seconds. 31(站点)x 1.34=41.54s-因此少了几秒钟,但理论上应该只需要最长请求的时间? # python test.py It took 28.129364728927612 seconds. 可能在这里打开浏览器 ..
发布时间:2022-03-25 16:32:42 Python

在pyppeteer中获取新选项卡的URL

我在苦苦思索如何: 检测何时在Chrome中打开新选项卡(例如,通过单击页面上的某些内容) 获取新打开的选项卡的URL。 我使用以下命令将pyppeteer连接到我当前的Chrome实例: browser = await pyppeteer.connect(browserURL='http://127.0.0.1:9222') 手动创建选项卡时,获取URL没有问题。 ..
发布时间:2022-03-11 18:39:59 Python

Pyppeteer在Linux和Windows上的行为不同

我有可以四处浏览的pyppeteer代码。我们假设它只点击a个标记。 它在我本地的Windows机器上运行得很好,但是每当我在Linux服务器上远程运行它时,它就会崩溃。相同的conda env,相同的代码。 简化后的代码相关部分如下所示: async def act(self): element = self.element async def get_act ..

使用 pyppeteer 连接到现有的 chrome

我想使用 pyppeteer 这样我就可以控制它了. 我之前几乎可以执行所有手动操作(例如,在现有 chrome 中启用远程调试模式),但最好使用最少的操作来完成. 为了使用browser.connect,我需要给它browserWSEndpoint,相当于'http://下的webSocketDebuggerUrl本地主机:9222/json/version'. 我的问题是,只 ..
发布时间:2021-09-26 19:07:20 Python

使用与 asyncio 关联的 pyppeteer 抓取内容

我已经用 python 编写了一个脚本,结合 pyppeteer 和 asyncio 来从其登陆页面抓取不同帖子的链接,并最终获得每个帖子的标题通过跟踪指向其内页的 url 来发布.我这里解析的内容不是动态的.但是,我使用了 pyppeteer 和 asyncio 来查看它执行异步的效率. 以下脚本运行良好,但随后出现错误: file "C:\Users\asyncio\tasks.py" ..
发布时间:2021-09-24 18:54:37 Python

为什么这个 pyppeteer 代码只能在 windows 上工作?

我使用 pyppeteer 用 Python 编写了一个小程序.它在我的 Windows 计算机上运行良好,但是当我尝试在基于 Unix 的系统上运行它时,它不起作用.这是一个最小的可重现示例: import asyncio从 pyppeteer 导入启动异步定义主():浏览器 = 等待启动(无头 = 真)page = 等待 browser.newPage()await page.goto('h ..
发布时间:2021-09-14 19:59:57 服务器开发

在FLASK中运行pypupeteer会产生ValueError:信号仅在主线程中有效

我正在尝试将pyppeteer集成到flask应用程序中.我有运行pyppeteer并捕获页面截图的python脚本.如果我单独运行该脚本,则此文件为工作文件. 问题是在FLASK APP中运行该脚本时不起作用的脚本. 我收到以下错误: loop.run_until_complete(capture(url,123123))文件"/usr/local/Cellar/python/3 ..

Pyppeteer在20秒后通过pyppeteer.errors.NetworkError崩溃

在使用 pyppeteer 来控制Chromium的过程中,大约20秒后我收到了一个错误工作: pyppeteer.errors.NetworkError:协议错误(Runtime.callFunctionOn):会话关闭.该页面很可能已关闭. 如此处所述所述,问题可能是由python 的实现引起的websockets> = 7 软件包及其在pyppeteer中的用法. 解决方案 ..
发布时间:2021-04-22 18:34:43 其他开发