tf-idf相关内容

在整个数据集上还是仅在训练数据上计算TF-IDF?

在《 TensorFlow机器学习指南》这本书的第七章中，作者在预处理数据时使用scikit-learn的 fit_transform 功能来获取以下内容的 tfidf 功能培训文字.作者将所有文本数据提供给函数，然后将其分为训练和测试.这是真的吗?还是我们必须先分离数据，然后在训练中执行 fit_transform ，然后在测试中执行 transform ? 解决方案 根据scikit- ..

发布时间：2021-05-31 18:38:51 python machine-learning scikit-learn nlp tf-idf AI人工智能

使用Gensim进行TF-IDF计算

我有一个ISI论文中的tf-idf示例.我正在尝试通过此示例验证我的代码.但是我从代码中得到了不同的结果.我不知道原因是什么！ 纸质术语文档矩阵: 接受率[0 1 0 1 1 0信息0 1 0 1 0 0媒体1 0 1 0 0 2型号0 0 1 1 0 0选择1 0 1 0 0 0技术0 1 0 1 1 0] 纸上的Tf-idf矩阵: 接受度[0 0.4 0 0.3 0.7 0信息0 ..

发布时间：2021-05-10 19:07:49 python tf-idf gensim Python

通过使用tf-idf将文本特征化为向量来计算余弦相似度

我是Apache Spark的新手，想从一堆文本中查找相似的文本，尝试了如下操作- 我有2个RDD- 第一个RDD包含不完整的文本，如下所示- [0,541 Suite 204，Redwood City，CA 94063][1,6649 N Blue Gum St，新奥尔良，路易斯安那州，70116][2，#69，洛杉矶，加利福尼亚州，洛杉矶，90034][3,98 Connect ..

发布时间：2021-04-08 19:34:43 scala apache-spark tf-idf cosine-similarity 其他开发

IDF对几个文档有何不同?

我正在使用LETOR制作信息检索系统.他们使用TF和IDF. 我确定TF是查询相关的.但是IDF应该去，但是: "请注意，IDF是独立于文档的，因此查询下的所有文档都具有 相同的IDF值." 但这没有意义，因为IDF是功能列表的一部分.如何计算每个文档的IDF? 解决方案 IDF是特定于术语的.任何给定术语的IDF都是独立于文档的，但是TF是特定于文档的. 换句话说. 假 ..

发布时间：2020-11-27 21:44:57 information-retrieval tf-idf 其他开发

如何使用tf-idf选择停用词? (非英语语料库)

我已经设法评估了给定语料库的 tf-idf函数.如何找到每个文档的停用词和最佳词汇?我知道给定单词和文档的tf-idf低意味着它不是选择该文档的好单词. 解决方案 停用词是那些在文档中非常普遍出现的词，因此失去了它们的代表性.观察此现象的最佳方法是测量一个术语中出现的文档数量，并过滤出现在其中50％以上，或者您需要调整的前500个阈值或某种阈值中的文档. 文档中最好的术语(如更具代表 ..

发布时间：2020-11-27 21:43:35 information-retrieval text-mining stop-words tf-idf 其他开发

python中最有效的直方图代码

我已经看到了很多有关在干净的单线图中制作直方图的问题，但是我还没有找到任何人试图尽可能高效地制作直方图.我目前正在为搜索算法创建许多tfidf向量，这涉及到创建许多直方图和当前代码，但非常简短且可读性不如我想要的快.可悲的是，我尝试了许多其他方法，但结果却慢得多.你能做得更快吗? cleanStringVector是一个字符串列表(全部为小写字母，没有标点符号)，masterWordList也是一 ..

发布时间：2020-11-23 06:38:34 python performance histogram tf-idf Python

Heroku/Rails:如何在Heroku上安装GNU科学库(GSL)?

我需要在运行Rails(4.0.2)应用程序的Heroku上安装GSL库，以使用依赖于它的一些宝石. 目标: 安装GSL库以与 GSL 和相似宝石(在Heroku中). 尝试的方法: 在Heroku应用程序中安装Ruby/GSL :Heroku在部署后崩溃. GSL gem无法找到该库.跟踪: http://pastebin.com/CPcMUdCa Tomwolfe的Hero ..

发布时间：2020-11-22 23:29:52 ruby-on-rails ruby heroku gsl tf-idf 其他开发

如何在gensim工具的python中实现TF-IDF?

从我从网上发现的文档中，我找出了用于确定语料库中术语的术语频率和逆文档频率权重的表达式 tf-idf(wt)= tf * log(| N |/d); 我正在经历gensim中提到的tf-idf的实现. 文档中给出的示例是 >>> doc_bow = [(0, 1), (1, 1)] >>> print tfidf[doc_bow] # step 2 -- use the mode ..

发布时间：2020-11-13 06:18:48 python tf-idf latent-semantic-indexing gensim Python

Python TF-IDF:更新TF-IDF矩阵的快速方法

我有一个包含数千行文本的数据集，我的目标是计算tfidf得分，然后计算文档之间的余弦相似度，这就是我在python中使用gensim进行的操作，遵循该教程: dictionary = corpora.Dictionary(dat) corpus = [dictionary.doc2bow(text) for text in dat] tfidf = models.TfidfModel(co ..

发布时间：2020-11-13 06:16:04 python nlp tf-idf gensim cosine-similarity Python

如何使用熊猫数据框获取tfidf?

我想从下面的文件中计算tf-idf.我正在使用python和pandas. import pandas as pd df = pd.DataFrame({'docId': [1,2,3], 'sent': ['This is the first sentence','This is the second sentence', 'This is the thir ..

发布时间：2020-11-13 06:08:05 python pandas scikit-learn tf-idf gensim Python

从一组文档中提取最重要的关键字

我有3000个文本文档，我想提取前300个关键字(可以是单个单词或多个单词). 我尝试了以下方法- RAKE :这是一个基于Python的关键字提取库，但失败了悲惨地. Tf-Idf :文档，但无法将其汇总并找到代表整个文档组的关键字. 此外，仅根据Tf-Idf得分从每个文档中选择前k个单词也无济于事，对吧? Word2vec :我能够做一些很酷的事情，例如找到相似的单词， ..

发布时间：2020-11-03 23:51:58 nlp rake feature-extraction word2vec tf-idf 其他开发

Elasticsearch成绩禁用IDF

我正在使用ES来使用模糊搜索技术搜索大量的人名。 TF适用于评分，但我实际上不需要IDF在这种情况下。这确实是在稀释分数。我仍然希望将TF和Field Norm应用于得分。 如何为查询禁用/抑制IDF，但保留TF和Field Norm？ 我遇到了禁用IDF计算线程，但是它没有帮助我。在这种情况下，恒定分数查询似乎对我也没有帮助。 解决方案 创建时索引，我们可以将自己的相似 ..

发布时间：2020-10-28 01:29:17 elasticsearch tf-idf 其他开发

TFIDF计算混乱

我在互联网上找到了以下代码来计算TFIDF： https://github.com/timtrueman/tf -idf / blob / master / tf-idf.py 我在函数中添加了“ 1+” def idf（word，documentList），所以我不会被0错误除： return math.log（len（documentList ）/（1 + ..

发布时间：2020-10-17 21:55:13 python data-mining text-processing information-retrieval tf-idf AI人工智能

词干对词频的影响？

术语频率（TF）和逆文档频率（IDF）受停用词删除和词干影响如何？ 谢谢！ 解决方案 tf 是术语频率 idf 是反向文档频率，即通过将文档总数除以包含该术语的文档数量，然后取该商的对数来获得。 除梗将来自同一词干的所有词（例如：played，play ..）进行分组，这将增加词干的出现率，因为频率是使用词干而不是词 计算的，例如2个文档： 第一个文档包含“播放” 2次和 ..

发布时间：2020-10-17 21:54:28 data-mining text-processing tf-idf stop-words stemming AI人工智能

将tfidf附加到pandas数据框

我具有以下熊猫结构： col1 col2 col3文本 1 1 0有意义的文本 5 9 7树 7 8 2文本 我想使用tfidf矢量化器。但是，这将返回一个解析矩阵，我实际上可以通过 mysparsematrix）.toarray（）转换为密集矩阵。但是，如何将带有标签的信息添加到原始df中？因此目标看起来像： col1 col2 col3有意义的文本树 ..

发布时间：2020-10-16 22:10:30 python dataframe tf-idf sklearn-pandas Python

CSV文件中字符串的TF-IDF

我的 test.csv 文件是（没有标题）： 非常好，非常糟糕，您很棒 非常糟糕，餐厅很好，可以参观 我想用，分隔语料，以使最终的 DocumentTermMatrix 变为： 条款 文档很好很好很差餐馆很棒游览 的好地方doc1 tf-idf tf-idf tf -idf 0 0 doc2 0 tf-idf 0 tf-idf tf-idf I ..

发布时间：2020-10-12 21:34:14 r csv machine-learning information-retrieval tf-idf AI人工智能

我是否在k折cross_validation中使用相同的Tfidf词汇表

我正在基于 TF-IDF 向量空间模型进行文本分类。我只有不超过3000个样本。为公平起见，我正在评估分类器使用5倍交叉验证。但令我困惑的是，是否需要在每次交叉验证中重建 TF-IDF 向量空间模型。即，我是否需要在每次交叉验证中重新构建词汇表并重新计算词汇表中的 IDF 值？ 目前，我正在基于scikit-learn工具箱进行TF-IDF转换，并使用SVM训练分类器。我的方法如下：首先，我 ..

发布时间：2020-10-11 20:00:01 python scikit-learn cross-validation tf-idf Python

pyspark:稀疏向量到稀疏矩阵

我有一个spark数据框，其中有一列短句子，以及一列带有分类变量.我想对句子执行tf-idf，对分类变量执行one-hot-encoding，然后将其输出到驱动程序上的稀疏矩阵中，一旦它的大小变得小得多(对于scikit-learn模型). 以稀疏形式获取数据的最佳方法是什么?稀疏向量上似乎只有一个toArray()方法，可以输出numpy数组.但是，文档确实说scipy稀疏数组还请记住，t ..

发布时间：2020-09-04 02:59:53 apache-spark scipy pyspark tf-idf 其他开发

如何从Spark ML Lib中的TF Vector RDD获取单词详细信息?

我已经在Spark中使用HashingTF创建了术语频率.我已经使用每个单词的tf.transform来获得术语频率. 但是结果以这种格式显示. [, ...] ,[termFrequencyofWord1, termFrequencyOfWord2 ....] ..

发布时间：2020-09-03 23:34:54 apache-spark apache-spark-mllib tf-idf apache-spark-ml 其他开发

向量空间模型-查询向量[0，0.707，0.707]

我正在阅读《信息检索简介》(Christopher Manning)一书，当它引入了查询“嫉妒八卦"时，我停留在第6章，该查询指出关联的向量单位为[0， 0.707，0.707]( https://nlp .stanford.edu/IR-book/html/htmledition/queries-as-vectors-1.html )，请考虑“影响，嫉妒和八卦"一词. 我尝试通过假设以下条件计算 ..

发布时间：2020-08-06 03:28:50 stanford-nlp information-retrieval tf-idf 其他开发