词汇空间大小模型';en_core_web_sm'; [英] Size of vocabulary SpaCy model 'en_core_web_sm'
本文介绍了词汇空间大小模型';en_core_web_sm';的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我试着在Spacy Small模型中查看词汇量:
model_name="en_core_web_sm"
nlpp=spacy.load(model_name)
len(list(nlpp.vocab.strings))
它只给了我1185个单词。我还在同事的机器上试了试,得到了不同的结果(1198和1183)。
只有这么小的词汇量来训练词性标注,难道就应该是这样吗?当我在我的数据集中使用它时,我丢失了很多单词。为什么不同机器的字数不同?
谢谢!
推荐答案
词汇表是动态加载的,因此当您第一次加载词汇表时,您不会拥有StringStore中的所有单词。如果您尝试以下操作,您可以看到这一点...
>>> import spacy
>>> nlp = spacy.load('en_core_web_sm')
>>> len(nlp.vocab.strings)
1180
>>> 'lawyer' in nlp.vocab.strings
False
>> doc = nlp('I am a lawyer')
>>> 'lawyer' in nlp.vocab.strings
True
>>> len(nlp.vocab.strings)
1182
从原始文件加载词汇表可能是最简单的方法,如下所示..
>>> import json
>>> fn = '/usr/local/lib/python3.6/dist-packages/spacy/data/en/en_core_web_sm-2.0.0/vocab/strings.json'
>>> with open(fn) as f:
>>> strings = json.load(f)
>>> len(strings)
78930
注意,上面的文件位置是针对Ubuntu 18.04的。如果您使用的是Windows,则会有一个类似的文件,但位于不同的位置。
这篇关于词汇空间大小模型';en_core_web_sm';的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文