php - 获取网站所有网页访问的URL地址和页面资源加载访问地址

问题描述

问 题

网站上面现有来两个图片服务器的域名地址，现在我想获取当前的网站究竟有哪些页面是访问了其中某一个服务器的域名。包括隐藏在js里面生成的访问地址。只要是网站上任何一个元素能向那个域名提交请求的。都要获取到。
这个思路应该怎么写？如果是用php或者是python写这个脚本应该用哪些工具？

解决方案

如果自己的网站可以写一段js foreach本页面的img对象的src然后通过ajax提交后台接口；
如果是本地工具抓取的话只能用selenium这种能够解析js的工具了；

这篇关于php - 获取网站所有网页访问的URL地址和页面资源加载访问地址的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！