使用crawler4j下载js文件 [英] Use crawler4j to download js files
查看：10
java
web-crawler
crawler4j
本文介绍了使用crawler4j下载js文件的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我正在尝试使用 crawler4j 下载一些网站.我遇到的唯一问题是，即使我在 shouldVisit 函数中为所有 .js 文件返回 true，它们也永远不会被下载.
I'm trying to use crawler4j to download some websites. The only problem I have is that even though I return true for all .js files in the shouldVisit function, they never get downloaded.
@Override
public boolean shouldVisit(WebURL url) {
return true;
}
@Override
public void visit(Page page) {
String url = page.getWebURL().getURL();
System.out.println("URL: " + url);
}
.js 文件的 URL 永远不会被打印出来.
The URL for .js files never gets printed out.
推荐答案
我注意到
相关文章
- crawler4j 的实现;
- 改善crawler4j的性能;
- Groovy中的Crawler(JSoup VS Crawler4j);
- 使用crawler4j在请求中发送Cookie？;
- crawler4j CrawelController类中的NoSuchMethodError;
- 限制URL仅限种子URL域crawler4j;
- crawler4j 获取数据的步骤顺序是什么?;
- 在 Crawler4j 中循环调用 Controller.Start?;
- Crawler4j与Jsoup一起用于Java中的页面爬行和解析;
- 在循环内调用控制器（crawler4j-3.5）;
- 使用log4j清除文件？;
- 使用单个log4j2 xml文件配置log4j2和log4j;
- 使用单个 log4j2 xml 文件配置 log4j2 和 log4j;
- 使用XML文件（log4j2.xml）配置Log4j 2;
- 使用slf4j读取.properties文件;
- 使用Log4j的多个文件;
- 使用SLF4j/log4j将日志存储到.log文件中;
- 压缩Log4j文件;
- 压缩 Log4j 文件;
- Log4j%1至log4j%2属性文件;
- 如何使用zip4j加密zip文件;
- 如何使用属性文件配置 log4j;
- 如何使用属性文件配置log4j;
- Difference between slf4j-log4j12 and log4j-slf4j-impl;
- Log4j 2不再支持log4j.properties文件了吗？;
Java开发最新文章
- Tomcat 404错误：原始服务器没有找到目标资源的当前表示，或者不愿意透露该目录的存在;
- 由于缺少ServletWebServerFactory bean，无法启动ServletWebServerApplicationContext;
- 无法反序列化的java.util.ArrayList实例出来VALUE_STRING的;
- 什么是AssertionError？在这种情况下，我应该从我自己的代码中抛出？;
- JSON反序列化投掷例外 - 无法反序列化的java.util.ArrayList实例出来START_OBJECT令牌;
- Maven构建错误 - 无法执行目标org.apache.maven.plugins：Maven的组装插件：2.5.5;
- 正确使用Optional.ifPresent（）;
- 获取异常（org.apache.poi.openxml4j.exception - 没有内容类型[M1.13]）阅读使用Apache POI XLSX文件时？;
- SpringBoot - 制作jar文件 - 在META-INF / spring.factories中找不到自动配置类;
- HTTP状态404 - 请求的资源（/）不可用;
