puppeteer相关内容

Puppeteer:如何在评估函数中使用 XPath 和外部变量?

我正在尝试在 Puppeteer 的评估函数中使用 XPath 和外部变量,但是有一个问题: 如果我使用评估函数并传入外部变量,则无法传入 XPath, 如果我删除 XPath 一切正常,但我需要使用 XPath 来完成. 我刚刚收到此错误: UnhandledPromiseRejectionWarning: TypeError: 转换循环JSON 的结构-->从构造函数“Br ..
发布时间:2021-10-02 19:38:03 其他开发

用 Jasmine 测试木偶戏?

我们的网站有很多流程(登录、注册、支付等) 我们正在使用 puppeteer 脚本(通过节点打字稿)来自动测试我们的网站行为(全流程),当我们收到错误(或意外结果)时,我们会发送电子邮件或某种警报. > 但我看到人们也将 jasmine 与 puppeteer 一起使用. 例如: const puppeteer = require('puppeteer');描述(“茉莉花木偶", ..
发布时间:2021-09-24 19:00:06 其他开发

为什么要使 Puppeteer 工作,headless 需要为 false?

我正在创建一个 Web api,用于抓取给定的 url 并将其发回.我正在使用 Puppeteer 来做到这一点.我问了这个问题:Puppeteer 不像在开发者控制台中那样> 并收到了一个答案,表明它只有在 headless 设置为 false 时才有效.我不想经常打开我不需要的浏览器 UI(我只需要数据!)所以我在寻找为什么 headless 必须是 false,我能得到一个让 headle ..
发布时间:2021-09-24 18:55:12 前端开发

Puppeteer:将循环结构转换为 JSON 您是否传递了嵌套的 JSHandle?

我正在尝试抓取一页网站.有多种选择组合会导致不同的搜索重定向.我在 page.evaluate 的回调函数中写了一个 for 循环来点击不同的选择并在每个按钮中进行点击搜索.但是,我收到错误:将循环结构转换为 JSON 您是否正在传递嵌套的 JSHandle? 请帮忙! 我当前的代码版本如下: const res = await page.evaluate(async (i, cou ..
发布时间:2021-09-24 18:44:54 前端开发

Puppeteer 屏幕截图缺少/不可见文本

我正在使用 puppeteer 从标记和下载图像由浏览器发送到 Express 应用程序的 css.Express 编译模板,只需将 POSTed 标记插入 html shell &在本地获取 css(安装在 docker 卷上). 当我呈现 html &css直接在chrome中,所有文本和其他元素都按预期显示.但是,保存的屏幕截图缺少文本. 当我忽略我们的样式时,文本在本地 chr ..
发布时间:2021-06-23 19:06:32 前端开发

将很长的 url 传递给 Puppeteer - 有更好的方法吗?

所以一个 git 问题让我回滚了大约两周的工作 - 我目前正在尝试将大约 3300 个字符串的数组传递给把手模板,然后尝试将其打印为 pdf - 我的问题是我很确定我的 pupepteer URL 被截断为 3000 个字符.我不知道如何解决. 数组(3330)[对象,对象,对象,对象,对象,对象,对象,对象,...]>>>var templateHtml = fs.readFileSy ..
发布时间:2021-06-23 19:06:26 其他开发

没有“下一页"时的分页按钮但一堆“页码"页

我很高兴使用 R 进行抓取,但发现了它的局限性.试图刮阿根廷最高法院的案件摘要,我发现了一个我无法找到答案的问题.这很可能是边做边学的结果---所以请做指出我的代码在哪里工作但遵循了一个相当糟糕的做法.无论如何,我设法: 访问搜索页面. 在 #voces 中输入相关分类术语(例如“DECRETO DE NECESIDAD Y URGENCIA"),点击搜索并刮取.datosSumarios ..
发布时间:2021-06-23 19:06:23 其他开发

如何通过从多个 div 中选择来获取 Facebook 群组帖子 div 中的帖子链接?

所以我正在开发这个 puppeteer 应用程序,它要求我获取 Facebook 群组帖子中的帖子链接,尤其是帖子的链接,即帖子下方帖子的时间和日期作者姓名.而且我只想为第一篇文章获取该帖子链接. 所以要做到这一点,我必须首先选择作为父级的帖子的最外面的 div.很明显,提要中的每个帖子都包含与这张照片中显示的相同的类: 上图显示了 Facebook 提要的典型 html 结构.第一个 ..
发布时间:2021-06-23 19:06:17 其他开发

heroku 错误 Error R10(引导超时)->Web 进程未能在启动后 60 秒内绑定到 $PORT

我用 puppeteer 制作了一个刮刀,但我没有指定任何端口来提供它.它只是运行并抓取数据并使用 process.exit() 命令退出. 我使用 cli 将它部署到 heroku,但运行后抛出错误: Error R10(启动超时)->Web 进程未能在启动后 60 秒内绑定到 $PORT.使用 SIGKILL 停止进程进程以状态 137 退出 怎么了? 解决方案 看起来您有一 ..
发布时间:2021-06-23 19:06:06 其他开发

Puppeteer - 从框架集中的第 5 级深度子页面调用外部 JS 函数

我正在尝试在一个建立在 apache Struts 框架上的已有 20 年历史的电子商务网站上实现 puppeteer 自动化.我无法复制整个 struts 操作 servlet,但是我模拟了 HTML 页面,一旦人们登录并选择商店,这些页面就会在框架中加载 14 个不同的页面.目标是从第 5 个深度子框架页面中加载的 14 个页面之一中单击 Create New Shopping Basket. ..
发布时间:2021-06-23 19:06:00 前端开发

puppeteer 被重定向时浏览器不是

正在尝试测试页面 https://publicindex.sccourts.org/anderson/publicindex/使用标准浏览器导航到页面时,导航会在请求的页面结束 (https://publicindex.html).sccourts.org/anderson/publicindex/),页面显示“接受";按钮. 但是,在无头模式下使用 puppeteer 进行测试时,请求被重 ..
发布时间:2021-06-23 19:05:58 前端开发

无法使用 puppeteer 获取页面的完全加载的 html

我正在尝试获取此页面的完整 html.它有一个加载缓慢的电子表格.我可以在截取页面截图时包含电子表格.但是我无法获得电子表格的 html.document.body.outerHTML 不包括电子表格的 html.就好像 puppeteer 在电子表格加载之前仍在查看页面一样. 如何获取包含电子表格 HTML 在内的完全加载的 HTML? (异步() => {const browser = ..
发布时间:2021-06-23 19:05:51 前端开发