使用 beautifulsoup 查找下一个兄弟姐妹，直到某个兄弟姐妹
网页是这样的:
section1
文章
文章
文章
section2
文章
文章
文章
我怎样才能找到其中包含文章的每个部分?即找到h2后，找到nextsiblings 直到下一个h2. 如果网页是这样的:(通常是这种情况)
部分 1
文章
文
..
scrape相关内容
Python - 在 while 循环期间，先前的列表元素被新元素覆盖
您好，我是 Python 新手，我想弄清楚为什么每次在 while 循环期间加载和抓取新页面时，我的列表都会覆盖以前的元素.先感谢您. def scraperurls():domain = "https://domain234dd.com"计数 = 0而计数 解决方案 需要在循环前初始化 URL 列表.如果您在循环内部初始化，它每次都会将其设置为空.
..
使用分页和 JavaScript 链接时，如何从 ASP.NET 网站上抓取信息?
我收到了一份应该是最新的员工名单，但它与用 ASP.NET 编写的 Intranet People Finder 不匹配. 由于信息是敏感的，我无法访问 People Finder 使用的数据库，因此我获取信息的唯一方法是从顶部的顶层开始抓取结构，然后遍历每一层依次. 每个人都有一个员工编号，然后形成 URL http://intranet/peoplefinder/index.asp
..
BeautifulSoup:提取 img alt 数据
我有以下图片 html，我正在尝试解析 alt 中的信息.目前我能够成功提取图像. html(我目前解析的内容
..
如何从 BeautifulSoup 下载图片?
图片 http://i.imgur.com/OigSBjF.png 导入请求从 bs4 导入 BeautifulSoup r = requests.get("xxxxxxxxx")汤 = BeautifulSoup(r.content)对于链接中的链接:如果 link.get('src') 中的“http":打印链接.get('src') 我得到了打印的 URL，但不知道如何使用它.
..
使用beautifulsoup查找下一个兄弟姐妹直到某个兄弟姐妹
网页是这样的: section1
文章
文章
文章
section2
文章
文章
文章
如何找到包含文章的每个部分?即找到h2后，找到nextsiblings 直到下一个h2. 如果网页是这样的:(通常是这种情况)
section1
文章
文章
..
Html-Agility-Pack 未加载包含完整内容的页面?
我正在使用 Html Agility Pack 从网站获取数据(抓取) 我的问题是我正在获取数据的网站在页面加载几秒钟后加载了一些内容. 所以每当我试图从特定 Div 读取特定数据时，它都会给我空值. 但在 var page 我只是没有得到部门 reviewBox ..因为它尚未加载. public void FetchAllLinks(String Url){网址 = "ht
..
用于 JavaScript 生成内容的 Python 网页抓取
我正在尝试使用 python3 返回由 http://www.doi2bib.org/生成的 bibtex 引用一>.url 是可预测的，因此脚本可以计算出 url，而无需与网页交互.我曾尝试使用 selenium、bs4 等，但无法获取框中的文本. url = "http://www.doi2bib.org/#/doi/10.1007/s00425-007-0544-9"导入 urllib.r
..
如何通过 Python 抓取动态网页
[我想做什么] 从下面的网页抓取二手车数据. http://www.goo-net.com/php/search/summary.php?price_range=&pref_c=08,09,10,11,12,13,14&easysearch_flg=1 [问题] 抓取整个页面.在上面的 url 中，只显示了前 30 个项目.这些可以被我写的下面的代码刮掉.指向其他页面的链接显示
..
如何使用 R 在 html 中的注释标签内抓取表格?
我正在尝试从 http://www.basketball-reference 中抓取.com/teams/CHI/2015.html 使用 rvest.我使用了 selectorgadget 并发现我想要的表的标签是#advanced.但是，我注意到它没有捡起来.查看页面源代码，我注意到表格位于 html 注释标签
..
使用 JavaScript 抓取/窃听 AJAX 数据?
是否可以使用 JavaScript 抓取正在使用 AJAX 实时更新的网页的所有更改?我希望每秒使用 AJAX 抓取更新数据的站点，我想获取所有更改.这是一个拍卖网站，只要用户出价，就会有几个对象发生变化.出价后会发生以下变化: 当前买入价目前的高价投标人拍卖计时器已加回时间 我希望使用基于 JavaScript 的 Chrome 扩展程序获取这些数据.是否有可以完成此操作的 Java
..
用 JAVA 解析网站 HTML
我想解析一个简单的网站并从该网站抓取信息. 我曾经用 DocumentBuilderFactory 解析 XML 文件，我试图对 html 文件做同样的事情，但它总是进入无限循环. URL url = new URL("http://www.deneme.com");URLConnection uc = url.openConnection();InputStreamReader inp
..
如何从烂番茄上抓取超过一页的评论?
我一直在使用此抓取工具来抓取此 URL 的评论家评论:https://www.rottentomatoes.com/m/avengers_endgame/reviews尽管如此，我一直在努力研究如何浏览其他页面，因为这目前会刮掉第一页的评论家评论.有谁知道我会怎么做? 导入硒从硒导入网络驱动程序将熊猫导入为 pd驱动程序 = webdriver.Chrome()driver.get(“https
..
HtmlAgilityPack - 获取 DIV 内容
我正在尝试使用 WinForms C# 中的 HtmlAgilityPack 从 DIV 中获取一些文本. 我的代码是: var doc = new HtmlAgilityPack.HtmlDocument();doc.LoadHtml("http://www.tibia.com/news/?subtopic=latestnews");var res = doc.DocumentNode.
..
网页抓取 - 谷歌地图网站 - 是否可以抓取?
刚刚加入 SO 所以我想知道你是否可以帮助我解决这个问题.我们曾经爬过一个网站，获取美国/世界运动量健身馆的所有联系信息，因为这些信息在那里非常暴露.但是，现在他们已将其网站更改为 map.crossfit.com，因此信息被嵌入到谷歌样式的地图中，因此您实际上只能通过缩放来获取每个健身房的信息(名称、地址、电话号码等)一个一个地选择它们，这需要我花很长时间才能获得所有美国的(大约 6,000 个
..
R中的WebScraping动态页面
我将更改网站，以使这个问题更好.仍然面临类似的问题，不能只使用 rvest 包，也许使用 RSelenium 更容易获得答案.网站:http://ravimaailma.fi/cg/tulokset/20/ 我想要从主要文章中获取链接，该链接将指导我查看个人比赛结果.链接看起来像这样:http://ravimaailma.fi/article/tulokset/pori-18-11-2017-tu
..
如何将新列添加到 csv 的 Scrapy 输出?
我解析网站并且它工作正常，但我需要添加带有 ID 的新列来输出.该列使用 url 保存在 csv 中: https://www.ceneo.pl/48523541, 1362https://www.ceneo.pl/46374217, 2457 我的蜘蛛代码: 导入scrapy从 ceneo.items 导入 CeneoItem导入 csv类 QuotesSpider(scrapy.Spid
..
如何从一个站点抓取多个页面
我想从一个站点抓取多个页面.这样的模式: https://www.example.com/S1-3-1.html https://www.example.com/S1-3-2.html https://www.example.com/S1-3-3.html https://www.example.com/S1-3-4.html https://www.example.com/S1-3-5.h
..
UDP Tracker Scraping 1 脚本工作其他不
在使用此脚本时，我的跟踪器仅更新种子和来自 http 跟踪器的 leechers 仅 1st Tracker 我的 torrent. print("" .T_("Torrent Stats"). ": ");$seeders1 = $leechers1 = $down
..
通过从雅虎抓取股票，使用正则表达式在单行上获取多个数据
导入urllib进口重新stock_symbols = ['aapl', 'spy', 'goog', 'nflx', 'msft']对于我在范围内(len(stocks_symbols)):htmlfile = urllib.urlopen("https://finance.yahoo.com/q?s="+stocks_symbols[i])htmltext = htmlfile.read(ht
..