使用 Python 请求模拟单击“显示更多"按钮 [英] Using Python Requests to simulate clicking a 'show more' button
本文介绍了使用 Python 请求模拟单击“显示更多"按钮的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我不确定单击显示更多"按钮要使用什么代码.我想得到一份正在做特定主题的大学名单.下面是其中一个网站
http://www.sciencedirect.com/science/article/
您的帮助将不胜感激
谢谢
解决方案
您不应该在 Python 中模拟实际单击"显示更多"按钮来完成网页抓取.
网站中的显示更多"按钮通常与某些 JavaScript 相关联，这些 JavaScript 要么显示 HTML 中已有的隐藏元素(请参阅 Bootstrap 的 collapse 类 典型示例)或向某些 Web 服务发出请求(例如 REST API) 用于插入DOM.
无论哪种方式，您都可以抓取该数据.对于前者，在 DOM 中找到隐藏元素(查看页面的源代码 [Ctrl + U] 并搜索 HTML [Ctrl + F])，并使用您的典型网页抓取工具.对于后者，当您单击显示更多"并尝试使用 Python 复制该请求时，请使用类似 Google Dev Tools 的网络"选项卡来检查 API 请求.
在您给出的具体示例中，您想要的数据似乎作为 JSON 对象存储在 HTML
相关文章
- Python单击“更多”按钮不起作用;
- 单击按钮时添加更多按钮;
- 如何使用代码模拟按钮单击?;
- 如何在单击“显示更多”按钮后公布新内容？;
- 显示阅读更多按钮;
- 使用请求库使用python模拟ajax请求;
- 模拟按钮单击C＃;
- 回发模拟按钮单击;
- 单击“阅读更多"按钮时图像消失?;
- 使用引发事件来调用模拟按钮单击;
- 使用请求库用python模拟ajax请求;
- 单击一个按钮时如何创建更多按钮？;
- 在Jest中模拟按钮单击;
- 通过功能模拟按钮单击事件;
- 如何使用Selenium Python单击按钮;
- UITabBarController-更多按钮不显示;
- 按钮，然后单击显示;
- 单击按钮时显示;
- 按钮单击显示进度;
- 单击按钮显示网格;
- 使用Python请求模拟ajax POST调用;
- 使用jQuery单击按钮并显示按钮的值;
- 单击按钮时突出显示按钮;
- 给定按钮窗口的句柄，如何模拟按钮单击？;
- python selenium单击按钮;
Python最新文章
- 类型错误：只有长度为1的阵列可以尝试拟合指数的数据转换到Python标量;
- bs4.FeatureNotFound：找不到一棵树建设者您所要求的功能：LXML。你需要安装一个解析器库？;
- 系列的真值是不明确的。使用a.empty，a.bool（），a.item（），a.any（）或a.all（）;
- （unicode错误）'unicodeescape'编解码器无法解码位置2-3中的字节：truncated \UXXXXXXXX escape;
- 将pandas dataframe中的列从int转换为string;
- Python：由实例对象调用方法：“missing 1 required positional argument：'self'”;
- Sparksql过滤与多个条件（与where子句中选择）;
- JSONDe codeError：期待值：1行1列（CHAR 0）;
- Cmake不能找到Python库;
- Python - 将Dataframe中的所有项目转换为字符串;
