pyspider 如何捕捉网页下拉刷新的这种分页？

问题描述

问 题

点击事件的我看了一些例子，名表了如何操作；

但下拉刷新的话，网页自动就刷新了，这个如何捕捉呢？

另外：我看一些例子中，直接就加上fetch_type='js'，这句话，它会自动刷新； 没看到有跟翻页相关的内容了啊。

解决方案

什么叫「下拉刷新的话，网页自动就刷新了」，如果页面自动刷新了，按照我的理解，页面重新加载了？
那么就产生了一个新的请求，那么不需要捕获，发起新的请求就好了啊

如果是瀑布流，无限下拉，那么只要用 window.scrollTo 触发下拉动作就可以了。需要注意的是，由于抓取超时时间的限制，无限瀑布流是无法抓全的，只能在超时时间内能翻多少页抓多少页。如果要抓全，需要自己分析 API。

这篇关于pyspider 如何捕捉网页下拉刷新的这种分页？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！