robots.txt解析器Java [英] robots.txt parser java
本文介绍了robots.txt解析器Java的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我想知道如何在Java中解析robots.txt.
I want to know how to parse the robots.txt in java.
已经有代码了吗?
推荐答案
Heritrix 是开源网站Java编写的履带.查看他们的javadoc，我发现他们有一个实用程序类 Robotstxt 用于解析robots.txt文件.
Heritrix is an open-source web crawler written in Java. Looking through their javadoc, I see that they have a utility class Robotstxt for parsing the robots.txt file.
这篇关于robots.txt解析器Java的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
