在R的市场上遇到了网络刮硬币的麻烦 [英] Having trouble with web scraping coinmarketcap in R

问题描述

我正试图从名为CoinMarkets&的网站上获取加密货币的历史价格，但我做不到。我知道有很多关于这个话题的帖子，我几乎尝试了所有的帖子，但所有的方法对我都不起作用。我使用的是Windows10，我尝试了检查方法。我哪里做错了？我的代码是：

dataurl = "https://coinmarketcap.com/currencies/bitcoin/historical-data/"

data = dataurl %>% read_html()

data = data %>% html_nodes(xpath = '//*[@id="__next"]/div/div[1]/div[2]/div/div[3]/div[2]/div/div[2]/table')

data = data %>% html_table() %>% data.frame()

在此之后，"；data"；变量将显示"；0obs。共0个变量

谢谢。

推荐答案

我认为rvest不适用，因为内容是动态的而不是静态的。在将源代码读入R时，table元素不会加载。我能够使用RSelenium基于this tutorial执行此操作，但请注意，您至少必须首先安装phantomJS。

library(RSelenium)
library(tidyverse)

driver <- rsDriver(browser="firefox", phantomver="2.0.0")
remote_driver <- driver[["client"]]
remote_driver$open()

remote_driver$navigate("https://coinmarketcap.com/currencies/bitcoin/historical-data/")

tab <- remote_driver$findElement(using="class", value="cmc-table")
tab_txt <- tab$getElementText()[[1]] 
mytab <-  read_delim(tab_txt, delim=" ", col_names=FALSE, skip=1)
mytab$X1 <- with(mytab, paste(X1, X2, X3, sep=" "))
mytab <- mytab %>% select(-c(X2,X3))
names(mytab) <- c("Date", "Open", "High", "Low", "Close", "Volume", "Market Cap")
head(mytab)
# # A tibble: 6 x 7
#    Date         Open       High       Low       Close     Volume         `Market Cap`   
#   <chr>        <chr>      <chr>      <chr>     <chr>     <chr>          <chr>          
# 1 Aug 23, 2021 $49,291.68 $50,482.08 $49,074.… $49,546.… $34,305,053,7… $931,244,272,4…
# 2 Aug 22, 2021 $48,869.10 $49,471.61 $48,199.… $49,321.… $25,370,975,3… $926,961,622,3…
# 3 Aug 21, 2021 $49,327.07 $49,717.02 $48,312.… $48,905.… $40,585,205,3… $919,092,181,7…
# 4 Aug 20, 2021 $46,723.12 $49,342.15 $46,650.… $49,339.… $34,706,867,4… $927,189,789,0…
# 5 Aug 19, 2021 $44,741.88 $46,970.76 $43,998.… $46,717.… $37,204,312,2… $877,875,534,8…
# 6 Aug 18, 2021 $44,686.75 $45,952.06 $44,364.… $44,801.… $32,194,123,0… $841,823,296,2…

您可能希望能够以编程方式点击&Load More"；按钮。因此，我能够访问该按钮。

button_element <- remote_driver$findElement(using = 'class', value = "x0o17e-0")

虽然我不知道这个类名是固定的还是随会话而变化的。还有，当我这样做的时候：

replicate(25, button_element$clickElement())

它应该点击该按钮25次，它只是弹出一个对话框要求我登录。您可以手动点击由RSelum驱动的网站上的按钮(您应该有一个由R驱动的带有红色条纹地址栏的浏览器)。当我点击该按钮几次，然后执行代码来读取表时，新表有更多的行(即，它已经响应了按下的Load More按钮)。

这篇关于在R的市场上遇到了网络刮硬币的麻烦的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！