fasttext相关内容

Gensim fasttext 无法获取最新的训练损失

问题描述 fasttext 中的 get_latest_training_loss 函数似乎只返回 0.gensim 4.1.0 和 4.0.0不起作用. from gensim.models.callbacks import CallbackAny2Vec从 pprint 导入 pprint 作为打印从 gensim.models.fasttext 导入 FastText从 gensim ..
发布时间:2021-09-28 18:32:20 其他开发

为什么 FastText 不处理查找多词短语?

FastText 预训练模型非常适合查找相似词: from pyfasttext import FastText模型 = FastText('cc.en.300.bin')model.nearest_neighbors('狗', k=2000)[('狗',0.8463464975357056),('小狗', 0.7873005270957947),('小狗', 0.769223749637603 ..
发布时间:2021-06-07 20:40:56 其他开发

FastText 召回是“nan",但精度是一个数字

我使用 Python 接口在 FastText 中训练了一个监督模型,并且在精度和召回率方面得到了奇怪的结果. 首先,我训练了一个模型: model = fasttext.train_supervised("train.txt", wordNgrams=3, epoch=100, pretrainedVectors=pretrained_model) 然后我得到测试数据的结果: def ..
发布时间:2021-06-07 20:39:30 其他开发

为 OOV 词添加新向量的正确方法

我正在使用一些特定领域的语言,其中包含大量 OOV 词和一些拼写错误.我注意到 Spacy 只会为这些 OOV 词分配一个全零向量,所以我想知道处理这个问题的正确方法是什么.如果可能的话,我感谢您对所有这些要点进行澄清: pre-train 命令究竟有什么作用?老实说,我似乎无法正确解析网站上的解释: 使用近似的语言建模目标对管道组件的“令牌到向量"(tok2vec) 层进行预训练.具 ..
发布时间:2021-06-07 20:36:52 其他开发

如何使用 FastText 查找相似的单词?

我正在玩 FastText,https://pypi.python.org/pypi/fasttext,与 Word2Vec 非常相似.由于它似乎是一个相当新的库,还没有多少内置函数,我想知道如何提取形态相似的词. 例如:model.similar_word("dog") -> 狗.但是没有内置函数. 如果我输入model["dog"] 我只得到了可能用于比较余弦相似度的向量.m ..
发布时间:2021-06-07 20:34:32 其他开发

快速文本中多标签的标签的正确格式是什么?

目前,我正在使用Fasttext进行文本分类的堆栈溢出标记预测中. 我想知道标签多类时标签的正确格式是什么. 1.)__label__毒性__label__种族主义者__label__侮辱2.)__标签__有毒,__标签__种族主义者,__标签__侮辱3.)__标签__有毒__标签__种族主义者__标签__侮辱4.)有毒标签,种族主义标签,侮辱标签 所以有人可以告诉我哪个是真的. ..
发布时间:2021-05-31 18:41:46 其他开发

Fasttext .vec和.bin文件之间的区别

我最近下载了英语的Fasttext预训练模型.我有两个文件: wiki.en.vec wiki.en.bin 我不确定两个文件有什么区别? 解决方案 .vec 文件仅包含明文形式的聚合词向量. .bin 文件 还包含模型参数,并且至关重要的是,还包含所有n-gram的向量. 因此,如果您想使用这些n-gram(FastText著名的“子词信息")对您没有训练过的单词进行 ..
发布时间:2021-04-29 20:46:11 其他开发

使用Anaconda在Windows 10上安装FastText

我正在尝试使用以下命令在Windows 10的anaconda中安装Fasttext:pip install fasttext,如此处所述:https://pypi.org/project/fasttext/ 错误消息是: ValueError:未知的MS编译器版本1900 和 命令"c:\ users \ nicol \ anaconda3 \ python.exe -u -c" ..
发布时间:2021-04-03 20:09:14 其他开发

在Windows上安装pyfasttext

我尝试按照此处的说明在python 3.6的Windows 10上安装pyfasttext. 我有来自mingw的g ++,clang LLVM 7.0.1,并将它们都放在环境变量上. 我设置USE_CYSIGNALS=0是因为我在Windows上. 但是当我运行命令时: python setup.py install 我遇到以下错误: File "setup.py", line ..
发布时间:2020-06-14 19:14:28 其他开发

Gensim:是否有机会获得Word2Vec格式的单词频率?

我正在使用Fasttext预训练模型进行研究,并且我需要词频来做进一步分析. fasttext网站上提供的.vec或.bin文件是否包含单词频率信息?如果是,我如何获得? 我正在使用load_word2vec_format加载使用model.wv.vocab [word] .count尝试的模型,该模型只会为您提供单词频率排名,而不是原始单词频率. 解决方案 我不认为这些格式包含任何 ..
发布时间:2020-06-14 19:14:26 其他开发

情感分析和快速文本:导入错误

我想使用FastText进行一些情绪分析.但是,在声明库的过程中,我总是会出错,并且网络上的示例和教程似乎都无法解决此问题. 我尝试遵循此处描述的步骤: https://github .com/facebookresearch/fastText/tree/master/python#installation 但从一开始即是 import fasttext from fasttex ..
发布时间:2020-06-14 19:14:23 其他开发

带有回调的Gensim FastText模型加载失败

使用Gensim创建FastText模型后,我想加载它,但是遇到看似与回调有关的错误. 用于创建模型的代码是 TRAIN_EPOCHS = 30 WINDOW = 5 MIN_COUNT = 50 DIMS = 256 vocab_model = gensim.models.FastText(sentences=model_input, ..
发布时间:2020-06-14 19:14:20 其他开发

使用Python API的快速文本无监督模型丢失

在使用Python API和Fast Text进行模型的无监督训练时,有什么方法可以使模型丢失吗?目前,我正在使用C ++模型进行培训,并使用Python API进行加载. 例如,我首先运行以下代码来调整超级参数 ./fasttext skipgram \ -input /data/cleaned.txt \ -output /models/cleaned-model \ -epoch ..
发布时间:2020-06-14 19:14:14 其他开发

如何在RASA NLU中使用Hindi模型?

我已经使用带有spacy后端的FastText为印地语建立了模型. 我按照本教程使用FastText构建模型. 此URL 我还通过以下命令将我的模型与spacy链接 python -m spacy link nl_model hi 模型已成功链接,您可以在下图中签入 现在我在使用印地文语言方面找不到任何帮助,例如我需要使用哪种配置文件,在何处导入印地文模型以及如何进行? 我也 ..
发布时间:2020-06-14 19:14:11 其他开发

在Cython中处理C ++数组(使用numpy和pytorch)

我正在尝试使用cython包装一个C ++库(fastText,如果相关). C ++库类从磁盘加载非常大的数组.我的包装器实例化了C ++库中的一个类以加载数组,然后使用cython内存视图和numpy.asarray将数组转换为numpy数组,然后调用torch.from_numpy创建张量. 出现的问题是如何处理为数组分配内存的问题. 现在,当程序退出时,我得到pointer b ..
发布时间:2020-06-14 19:14:06 其他开发

微调预训练的word2vec Google新闻

我目前正在使用在Google新闻语料库上训练的Word2Vec模型(来自此处) 由于仅在2013年之前对新闻进行过培训,因此我需要更新向量,并根据2013年以后的新闻在词汇表中添加新词. 假设我在2013年以后有了新的新闻语料库.我可以重新训练,微调或更新Google新闻Word2Vec模型吗?可以使用Gensim完成吗?可以使用FastText完成吗? 解决方案 您可以看一下: h ..
发布时间:2020-06-14 19:14:01 其他开发