n-gram相关内容

查找最佳子字符串匹配

我正在寻找使用现有库(difflib、fuzzywuzzy、python-levenshtein)的库或方法，以便在文本(corpus)中查找字符串(query)的最匹配项 我开发了一个基于difflib的方法，将corpus拆分成大小为n(长度为query)的ngram。 import difflib from nltk.util import ngrams def get_bes ..
发布时间：2022-02-27 20:58:06 Python

休眠搜索 |具有 minGramSize 1 的 ngram 分析器

我的 Hibernate Search 分析器配置存在一些问题.我的索引实体之一(“医院")有一个字符串字段(“名称")，它可以包含长度为 1-40 的值.我希望能够通过仅搜索一个字符来找到一个实体(因为医院可能有单个字符名称). @Indexed(index = "HospitalIndex")@AnalyzerDef(名称=“ngram"，标记器 = @TokenizerDef(工厂 = S ..
发布时间：2022-01-15 12:21:47 其他开发

使用 ElasticSearch 进行文件名搜索

我想使用 ElasticSearch 来搜索文件名(不是文件的内容).因此我需要找到文件名的一部分(完全匹配，没有模糊搜索). 示例: 我有以下名称的文件: My_first_file_created_at_2012.01.13.docMy_second_file_created_at_2012.01.13.pdf另一个文件.txtAnd_again_another_file.docxf ..
发布时间：2022-01-15 12:19:27 其他开发

检测字符串中 n-gram 的更快方法?

我在 SO 上找到了这个解决方案来检测字符串中的 n-gram:(此处:从句子生成 N-gram) import java.util.*;公共类测试{公共静态列表ngrams(int n, String str) {列表ngrams = new ArrayList();String[] words = str.split(" ");for (int i = 0; i ..
发布时间：2022-01-02 17:57:01 Java开发

字节 vs 字符 vs 单词 - n-gram 的粒度是什么?

至少可以考虑 3 种类型的 n-gram 来表示文本文档: 字节级 n-grams 字符级 n-grams 词级 n-grams 我不清楚哪一个应该用于给定的任务(聚类、分类等).我在某处读到，当文本包含拼写错误时，字符级 n-gram 比单词级 n-gram 更受欢迎，因此“玛丽爱狗"与“玛丽 lpves 狗"保持相似. 在选择“正确"表示时是否还有其他标准需要考虑? ..
发布时间：2022-01-02 17:55:24 AI人工智能

如何使用 spacy/nltk 生成双/三元组

输入文本总是有1~3个形容词和一个名词的菜名列表 输入 泰式冰茶香辣炸鸡甜辣椒猪肉泰式咖喱鸡 输出: 泰国茶，冰茶辣鸡，炸鸡甜猪肉，辣椒猪肉泰式鸡肉，咖喱鸡，泰式咖喱 基本上，我希望解析句子树并尝试通过将形容词与名词配对来生成双元组. 我想用 spacy 或 nltk 来实现这一点 解决方案 我使用了带有英文模型的 spacy 2.0.找到名词和“非名词"来解析输入，然 ..
发布时间：2022-01-02 17:44:48 Python

快速 n-gram 计算

我正在使用 NLTK 在语料库中搜索 n-gram，但在某些情况下需要很长时间.我注意到计算 n-grams 在其他包中并不是一个不常见的功能(显然 Haystack 有一些功能).这是否意味着如果我放弃 NLTK，有可能更快地在我的语料库中查找 n-gram?如果是这样，我可以用什么来加快速度? 解决方案 由于您没有指明您想要单词级还是字符级 n-gram，我将假设前者，不失一般性. ..
发布时间：2022-01-02 17:18:40 Python

使用 Python 计算 N Gram

我需要为包含如下文本的文本文件计算 Unigrams、BiGrams 和 Trigrams: “仅在美国，囊性纤维化就影响了 30,000 名儿童和年轻人吸入盐水雾可以减少充满囊性纤维化患者气道的脓液和感染，尽管副作用包括令人讨厌的咳嗽和刺鼻的味道.这是本周出版的《新英格兰医学杂志》上发表的两项研究的结论." 我开始使用 Python 并使用以下代码: #!/usr/bin/env ..
发布时间：2022-01-02 17:14:12 Python

从一个句子生成 N-gram

如何生成一个像这样的字符串的 n-gram: " String Input="这是我的车." 我想用这个输入生成 n-gram: 输入 Ngram 大小 = 3 输出应该是: 这个是我的车这是是我的我的车这是我的是我的车 在 Java 中给出一些想法，如何实现它或者是否有任何可用的库. 我正在尝试使用 this NGramTokenizer 但它给出了 n-gram 的字符序列 ..
发布时间：2022-01-02 17:13:57 Java开发

查找出现在数据集中多于一行的所有两个词组

我们想运行一个查询，该查询返回出现在多行中的两个词组.所以例如取字符串“数据忍者".由于它出现在我们数据集中的不止一行，查询应该返回它.通过查询数据集中的行中的两个相邻单词组合(形成一个短语)，查询应该从我们数据集中的所有行中找到所有这样的短语.这两个相邻的单词组合应该来自我们加载到 BigQuery 的数据集 我们如何在 Google BigQuery 中编写此查询? 数据集只是一长 ..
发布时间：2021-12-30 22:53:06 AI人工智能

Drupal 的搜索模块可以搜索子字符串吗?(部分搜索)

Drupal 的核心搜索模块，只搜索关键字，例如“三明治".我可以使用子字符串进行搜索，例如“sandw"并返回我的三明治结果? 也许有一个插件可以做到这一点? 解决方案 最近我做了一个 patch 为 Drupal 的核心搜索模块提供部分搜索(又名 n-gram 搜索) 能力.这是针对 Drupal 6.15 & 进行测试的.6.16 版本.您可能想了解补丁. 另一方面，您可 ..
发布时间：2021-12-29 23:25:21 其他开发

如何在 Hive 中生成所有 n-gram

我想使用 HiveQL 创建一个 n-gram 列表.我的想法是使用带有前瞻和拆分功能的正则表达式 - 但是这不起作用: select split('这是我的句子', '(\\S+) +(?=(\\S+))'); 输入是表格的一列 |句子||-------------------------||这是我的句子||这是另一个句子| 输出应该是: ["这是","是我的","我的句子"][“这是 ..
发布时间：2021-12-28 23:29:47 其他开发

使用 ElasticSearch 搜索文件名

我想使用 ElasticSearch 来搜索文件名(不是文件的内容).因此我需要找到文件名的一部分(完全匹配，没有模糊搜索). 示例: 我有以下名称的文件: My_first_file_created_at_2012.01.13.docMy_second_file_created_at_2012.01.13.pdf另一个文件.txtAnd_again_another_file.docxf ..
发布时间：2021-12-13 11:24:36 其他开发

需要 18 小时才能运行的 R 循环的优化

我有一个 R 代码，它可以运行并执行我想要的操作，但是它需要很长时间才能运行.下面是代码的作用和代码本身的解释. 我有一个包含街道地址(字符串)的 200000 行向量:数据.示例: >数据[150000,]地址"15 rue andre lalande Residence Marguerite yourcenar 91000 evry France" 我有一个 131x2 字符串元素的 ..
发布时间：2021-11-16 23:22:09 其他开发

R 和 tm 包:用一个或两个单词的字典创建一个术语文档矩阵?

目的:我想使用包含复合词或bigrams的字典创建一个术语-文档矩阵em>，作为一些关键字. Web 搜索: 作为文本挖掘和 R 中的 tm 包的新手，我访问了网络以找出如何做这个.以下是我找到的一些相关链接: tm-package 网站上的常见问题 找到 2 &使用 r tm 包的 3 个词组 用 r 中的 tm 包计数器 ngram r 中多个术语的findassocs ..
发布时间：2021-09-08 20:09:02 其他开发

R 中的文档项矩阵 - 二元标记器不起作用

我正在尝试为语料库制作 2 个文档术语矩阵，一个带有 unigrams，一个带有 bigrams.但是，bigram 矩阵目前与 unigram 矩阵完全相同，我不确定为什么. 代码: docs 我也尝试使用 ngram 包中的 ngram(x, n=2) 作为标记器，但这也不起作用.如何修复二元标记化? 解决方案 tokenizer 选项似乎不适用于 Corpus (Simpl ..
发布时间：2021-09-08 20:08:28 其他开发