如何在空间中强制使用某个标签？ [英] How to force a certain tag in spaCy?

问题描述

我将Spacy'3.0.0rc2'与自定义模型一起使用。不幸的是，我的训练数据中连字符(-)很少，因此该连字符经常被标记为NOUN。

有什么方法可以强制tag或pos，以确保所有-标记都被标记为PUNCT？

基本上，我正在寻找以下问题的答案中提出的解决方案： How to force a pos tag in spacy before/after tagger?

遗憾的是，这似乎不再起作用(至少对于Spacy 3)并引发错误：

ValueError: [E1005] Unable to set attribute 'POS' in tokenizer exception for '{G}'. Tokenizer exceptions are only allowed to specify ORTH and NORM.

(尝试分配TAG属性时相同)

我知道可以创建一个带有Matcher的定制组件，该组件只查找连字符并分配正确的标记。然而，考虑到我目前只想处理一个令牌，这似乎有点过头了。

有没有什么方法可以在Spacy 3中强制标记，在使用自定义组件处理期间不重新标记？

理想情况下，我希望修改TAG属性，并让spacy根据该TAG属性自动分配POS属性。 如spacy-annotationsTAG=HYPH应映射到POS=PUNCT。

推荐答案

在Spacy v3中，可以在attribute_ruler组件中实现这样的异常：

ruler = nlp.add_pipe("attribute_ruler")
patterns = [[{"ORTH": "-"}]]
attrs = {"TAG": "HYPH", "POS": "PUNCT"}
ruler.add(patterns=patterns, attrs=attrs)

请注意，属性标尺根据初始Doc状态运行一次模式匹配，因此不能将一个规则的输出属性用作另一个规则的输入模式。这出现在en_core_web_sm这样的管道中，其中包含的属性标尺执行标记-&>位置映射。因此，如果您有另一个规则应该与POS模式匹配，则必须添加第二个属性标尺组件来处理这些情况。

参见：https://nightly.spacy.io/api/attributeruler

这篇关于如何在空间中强制使用某个标签？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！