相关性在Solr中提升非常慢 [英] Relevancy boosting very slow in Solr

问题描述

我有一个Solr索引，其中包含约250万个项目，并且我试图使用ExternalFileField来提高相关性.不幸的是，尽管这是一台强大的机器，而且Solr拥有很多可用的内存，但是当我尝试执行此操作时，它的速度却非常慢.

I have a Solr index with about 2.5M items in it and I am trying to use an ExternalFileField to boost relevancy. Unfortunately, it's VERY slow when I try to do this, despite it being a beefy machine and Solr having lots of memory available.

在外部文件中，我的内容类似于:

In the external file I have contents like:

747501=3.8294805903e-07
747500=3.8294805903e-07
1718770=4.03292174724e-07
1534562=3.8294805903e-07
1956010=3.8294805903e-07
747509=3.8294805903e-07
747508=3.8294805903e-07
1718772=3.8294805903e-07
1391385=3.8294805903e-07
2089652=3.8294805903e-07
1948271=3.8294805903e-07
108368=3.84404072186e-06

每一行都是文档ID，它是相应的提升因子.

Each line is a document ID and it's corresponding boosting factor.

在我的查询中，我使用的是edismax，而我使用的是boost参数，将其设置为pagerank.整个查询在这里.

In my query I'm using edismax, and I am using the boost parameter, setting it to pagerank. The entire query is here.

在我的模式中，我有:

<!-- External File Field Type-->
<fieldType name="pagerank"
           keyField="id"
           stored="false"
           indexed="true"
           omitNorms="false"
           class="solr.ExternalFileField"
           valType="float"/>

和

   <field name="pagerank"
          type="pagerank"
          indexed="true"
          stored="true"
          omitNorms="false"/>

但是性能很差.我是否缺少设置或其他内容?

But the performance is just, plain bad. Am I missing a setting or something?

推荐答案

根据

外部文件可以按关键字段排序或不排序，但是它 如果未排序，则速度将大大降低(未经测试).

The external file may be sorted or unsorted by the key field, but it will be substantially slower (untested) if it isn't sorted.

正如我所看到的，文件中的ID未排序.您可以对其进行排序并测试是否有帮助吗?

And as I see, ids in your file are unsorted. Can you sort it and test if it helps?

这篇关于相关性在Solr中提升非常慢的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！