按正则表达式或模式添加特殊情况标记化规则 [英] spacy adding special case tokenization rules by regular expression or pattern

问题描述

我想根据documentation在空间中添加标记化的特殊情况。该文档显示了如何将特定的单词视为特例。我希望能够指定模式(例如后缀)。例如，我有一个这样的字符串

text = "A sample string with <word-1> and <word-2>"

其中<word-i>指定单个单词。

我知道我可以通过以下代码一次为一种特殊情况使用它。但我如何才能为其指定模式呢？

import spacy
from spacy.symbols import ORTH
nlp = spacy.load('en', vectors=False,parser=False, entity=False) 
nlp.tokenizer.add_special_case(u'<WORD>', [{ORTH: u'<WORD>'}])

推荐答案

您可以使用正则表达式匹配来查找特殊情况字符串的边界，然后使用spacy's merge method将它们合并为单个令牌。 ADD_SPECIAL_CASE仅适用于已定义的单词。 下面是一个例子：

>>> import spacy
>>> import re
>>> nlp = spacy.load('en')
>>> my_str = u'Tweet hashtags #MyHashOne #MyHashTwo'
>>> parsed = nlp(my_str)
>>> [(x.text,x.pos_) for x in parsed]
[(u'Tweet', u'PROPN'), (u'hashtags', u'NOUN'), (u'#', u'NOUN'), (u'MyHashOne', u'NOUN'), (u'#', u'NOUN'), (u'MyHashTwo', u'PROPN')]
>>> indexes = [m.span() for m in re.finditer('#w+',my_str,flags=re.IGNORECASE)]
>>> indexes
[(15, 25), (26, 36)]
>>> for start,end in indexes:
...     parsed.merge(start_idx=start,end_idx=end)
... 
#MyHashOne
#MyHashTwo
>>> [(x.text,x.pos_) for x in parsed]
[(u'Tweet', u'PROPN'), (u'hashtags', u'NOUN'), (u'#MyHashOne', u'NOUN'), (u'#MyHashTwo', u'PROPN')]
>>> 

这篇关于按正则表达式或模式添加特殊情况标记化规则的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！