pyspider爬取分页数据，setInterval模拟下一页点击事件无效

问题描述

问 题

爬的这个网页分页切换url不变，我就模拟了下一页按钮的点击事件，我在控制台里试了这句跳到下一页的代码$('.pager_next').click()是可以正常加载下一页数据的，但是我在用pyspider爬取过程中下面这样写就只爬到了第一页的数据，setInterval没起作用？求解

def on_start(self):
        self.crawl('https://www.lagou.com/gongsi/',  js_script="""function(){setInterval("$('.pager_next').click()", 1000);}""", callback=self.phantomjs_parser, validate_cert=False)

解决方案

拿到按钮下一页的url，再发一次请求。

这篇关于pyspider爬取分页数据，setInterval模拟下一页点击事件无效的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！