Nutch搜寻器:配置为仅接受英语页面 [英] Nutch crawler: Configure to accept only pages in English
本文介绍了Nutch搜寻器:配置为仅接受英语页面的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
如何配置 Nutch爬网程序来爬网仅英语页面?
这是我在 nutch-site.xml
中设置的,但是它不起作用:
This is what I set in nutch-site.xml
, but it does not work:
<property>
<name>http.accept.language</name>
<value>en-us,en-gb,en;q=0.7,*;q=0.3</value>
<description>Value of the "Accept-Language" request header field. This allows selecting non-English language as default one to retrieve. It is a useful setting for search engines build for certain national group.
</description>
</property>
推荐答案
您设置的值:< value> zh-cn,en-gb,en; q = 0.7,*; q = 0.3</value>
表示它更喜欢英语,但其他语言(*)仍然存在.对于仅抓取英文页面,您应该将值设置如下:
The value you set: <value>en-us,en-gb,en;q=0.7,*;q=0.3</value>
means that it prefers English but other languages (*) still there. For crawling only English pages, you should set value as below:
<value>en-us,en-gb,en</value>
为确保确定,请同时更改nutch-default.xml中的值.
To make sure, change the value in nutch-default.xml as well.
希望这会有所帮助
-Le Quoc Do
-Le Quoc Do
这篇关于Nutch搜寻器:配置为仅接受英语页面的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文