php - Coreseek中文分词词汇长度修改?

问题描述

问 题

安装sphinx一段时间了,最近发现词语过长不走coreseek分词,网上找资料,发现默认为5个utf8汉字,之后修改源码mmseg下/src/css/segmenter.cpp, 修改 #define MAX_TOKEN_LENGTH 15 //3*5,把15换成自己想要的.我换成20之后,重新编译mmseg和coreseek,重新生成词典,之后重建索引/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft.conf test1 --rotate,就出现了如上图所示,有什么解决办法吗?

解决方案

已经搞定,原来是我安装完为了客户体验,导入太多分词词库,之后再修改分词长度,就会崩溃,现在我放上原来的词库,修改分词长度之后,一切ok,在试着导入分词词库看看有没有问题.但是具体不知道为什么先导入会出问题.继续研究.

这篇关于php - Coreseek中文分词词汇长度修改?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！