javascript - superagent爬取网站出现重定向问题

问题描述

问 题

用superagent爬网页，遇到重定向，拿不到重定向后的响应体，该如何解决，如何获取重定向后的网页

我想获取501页面的res，但是他跳转到37018页面，导致我拿到501页面的空res。

测试了爬取不到的网页，发现有2种情况

1. 一开始进入网页响应码是200，过一小会刷新变成304

2. 一进入响应码从301重定向到200，过一小会刷新变成304

测试了能爬取到的网页，发现有2种情况

1. 一进入响应码从301重定向到200，过一小会刷新变成304

2. 一开始进入网页响应码是200，过一小会刷新变成304

啊，我擦，那就没什么区别啦，小白不知道这跟我爬不到内容有没有关系，orz

再再补充

问题不在重定向，而在于我的正则表达式匹配问题

解决方案

你都不看官方文档的吗？

• Following redirects

By default up to 5 redirects will be followed, however you may specify
this with the res.redirects(n) method:

request
  .get('/some.png')
  .redirects(2)
  .end(callback);

这篇关于javascript - superagent爬取网站出现重定向问题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！