python - 如何爬取跳转网站的数据

问题描述

问 题

目前在学习一些爬虫的知识，对于一些复杂的网站使用selenium进行爬取。
碰到一个问题，我需要爬取的工单网站（不知道密码）需要先通过登录一个鉴权系统，然后鉴权系统页面点击其中的工单系统连接，就会自动免登录跳转到工单系统网站，这种系统的数据我该如何使用爬虫进行抓取？
以下是鉴权系统selenium拿到关于工单系统的html

<a href="/link-test001" target="_blank" title="工单系统" rel="link-test001" data="1" datasrc="工单系统|||/files/link/test001.gif|||new|||/link-test001">
    <img src="/files/link/test001.gif" width="25" height="25" alt="工单系统" align="absmiddle"><span>工单系统</span>
</a>

解决方案

用firefox的扩展selenium ide录制一遍操作。
然后导出为python文件。
改改运行就可以了。

建议你去读读虫师写的书。

这篇关于python - 如何爬取跳转网站的数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！