lda相关内容

主题建模评价：如何理解连贯系数/cv为0.4，是好是坏？

我想知道一致性分数为0.4是好是坏？我使用LDA作为主题建模算法。 此上下文中的平均一致性分数是多少？ 推荐答案 连贯性度量主题内单词之间的相对距离。有两种主要的C_V类型，通常是0<；x<；1和UMass14<；x<；14。除非被测量的词是相同的单词或二元语法，否则很少看到连贯性为1或+.9。就像United和States可能会返回~.94的连贯性分数，或者HE ..

发布时间：2022-03-02 09:55:23 data-science lda topic-modeling 其他开发

gensim LdaMulticore 不是多处理?

当我在一台 12 核的机器上运行 gensim 的 LdaMulticore 模型时，使用: lda = LdaMulticore(corpus, num_topics=64, workers=10) 我收到一条日志消息，上面写着 在此节点上使用串行 LDA 版本 几行之后，我看到另一条日志消息显示 使用 10 个进程训练 LDA 模型 当我运行 top 时，我看到 11 个 pyth ..

发布时间：2022-01-12 12:50:19 python multiprocessing lda gensim Python

如何使用 R 的 topicmodels 包中的 LDA 函数重现精确结果

我一直无法从 topicmodels 的 LDA 函数中创建可重现的结果.以他们的文档为例: 库(主题模型)设置种子(0)lda1 如何从对 LDA 的两次单独调用中获得相同的结果? 顺便说一句(以防软件包作者在这里)，我发现 control=list(seed=0) 片段很不幸且不必要.在幕后，有一行表示 if (missing(seed)) seed .这不会使过程更可靠地随机，它 ..

发布时间：2022-01-07 23:45:11 r random statistics lda topic-modeling 其他开发

分层狄利克雷过程 Gensim 主题数与语料库大小无关

我在一组文档上使用 Gensim HDP 模块. >>>hdp = models.HdpModel(corpusB, id2word=dictionaryB)>>>主题 = hdp.print_topics(主题=-1，topn=20)>>>len(主题)150>>>hdp = models.HdpModel(corpusA, id2word=dictionaryA)>>>主题 = hdp.pr ..

发布时间：2022-01-02 17:44:40 python nlp lda gensim Python

Python Gensim:如何使用 LDA 模型计算文档相似度?

我有一个经过训练的 LDA 模型，我想从我训练模型的语料库中计算两个文档之间的相似度得分.在学习了所有 Gensim 教程和功能后，我仍然无法理解它.有人可以给我一个提示吗?谢谢！ 解决方案 不知道这是否会有所帮助，但是，当使用实际文档作为查询时，我设法在文档匹配和相似性方面取得了成功的结果.> dictionary = corpora.Dictionary.load('dictiona ..

发布时间：2022-01-02 17:28:28 python nlp lda gensim Python

如何从gensim打印LDA主题模型?Python

使用 gensim 我能够从 LSA 中的一组文档中提取主题，但如何访问从 LDA 模型生成的主题? 打印 lda.print_topics(10) 时，代码给出以下错误，因为 print_topics() 返回 NoneType: 回溯(最近一次调用最后一次): 中的文件“/home/alvas/workspace/XLINGTOP/xlingtop.py"，第 93 行对于 lda.p ..

发布时间：2022-01-02 17:20:25 python nlp lda topic-modeling gensim Python

每次我在同一个语料库上训练时，LDA 模型都会生成不同的主题

我正在使用 python gensim 从 231 个句子的小语料库中训练潜在狄利克雷分配 (LDA) 模型.然而，每次我重复这个过程时，它都会产生不同的主题. 为什么相同的LDA参数和语料每次都会生成不同的主题? 我该如何稳定话题生成? 我正在使用这个语料库(http://pastebin.com/WptkKVF0)和这个停用词列表(http://pastebin.com/LL ..

发布时间：2022-01-02 17:15:28 python nlp lda topic-modeling gensim Python

将 scikit-learn TfIdf 与 gensim LDA 结合使用

我在 scikit 中使用了各种版本的 TFIDF，学习对一些文本数据进行建模. vectorizer = TfidfVectorizer(min_df=1,stop_words='english') 结果数据 X 的格式如下: ..

发布时间：2021-12-25 14:42:30 python scikit-learn text-mining lda Python

Google Cloud Dataproc 配置问题

我在运行的一些 Spark LDA 主题建模中遇到了各种问题(主要是看似随机间隔的分离错误)，我认为这主要与我的执行程序上的内存分配不足有关.这似乎与有问题的自动集群配置有关.我最近的一次尝试使用 n1-standard-8 机器(8 个内核，30GB RAM)作为主节点和工作节点(6 个工作节点，所以总共 48 个内核). 但是当我查看 /etc/spark/conf/spark-defa ..

发布时间：2021-12-20 18:52:07 apache-spark google-cloud-platform lda google-cloud-dataproc 其他开发

使用线性判别分析或逻辑回归评估/改进预测

我最近需要在一些数据集上组合两个或多个变量来评估它们的组合是否可以增强预测性，因此我在 R 中做了一些逻辑回归.现在，在统计问答中，有人建议我可以使用线性判别分析. 由于我在 MATLAB 中没有任何 fitcdiscr.m，我宁愿在 R 中使用 lda，但我不能使用拟合结果来预测 AUC 或我可以使用的任何东西.确实，我看到 R 中 lda 的拟合输出向量是某种具有多个类的向量，我想我应该 ..

发布时间：2021-11-27 12:01:11 r logistic-regression analysis lda 其他开发

Sagemaker LDA 主题模型 - 如何访问训练模型的参数?还有一种简单的方法来捕捉连贯性

我是 Sagemaker 的新手，正在运行一些测试来衡量 NTM 和 LDA 在 AWS 上的性能与 LDA mallet 和原生 Gensim LDA 模型相比. 我想在 Sagemaker 上检查经过训练的模型，看看哪些词对每个主题的贡献最高.并且还可以衡量模型的一致性. 通过下载输出文件解压缩并解压缩以公开 3 个文件参数，symbol.json 和 meta.json，我已经能 ..

发布时间：2021-11-27 10:53:49 python lda amazon-sagemaker Python

LDA 模型预测不一致

我训练了一个 LDA 模型并将其加载到环境中以转换新数据: from pyspark.ml.clustering import LocalLDAModellda = LocalLDAModel.load(path)df = lda.transform(文本) 模型将添加一个名为 topicDistribution 的新列.在我看来，对于相同的输入，这个分布应该是相同的，否则这个模型是不一致的. ..

发布时间：2021-11-14 21:10:50 apache-spark pyspark apache-spark-mllib lda apache-spark-ml 其他开发

了解 Spark MLlib LDA 输入格式

我正在尝试使用 Spark MLlib 实现 LDA. 但是我很难理解输入格式.我能够运行它的示例实现以从一个只包含数字的文件中获取输入，如图所示: 1 2 6 0 2 3 1 1 0 0 31 3 0 1 3 0 0 2 0 0 11 4 1 0 0 4 9 0 1 2 02 1 0 3 0 0 5 0 2 3 93 1 1 9 3 0 2 0 0 1 34 2 0 3 4 5 1 1 ..

发布时间：2021-11-14 21:08:32 apache-spark-mllib lda 其他开发

在 spark 中为 LDA 准备数据

我正在努力实现 Spark LDA 模型(通过 Scala API)，但在为我的数据执行必要的格式化步骤时遇到了问题.我的原始数据(存储在文本文件中)采用以下格式，本质上是令牌列表及其对应的文档.一个简化的例子: doc XXXXX 术语 XXXXX1 x 'a' x1 x 'a' x1 x 'b' x2 x 'b' x2 x 'd' x... XXXXX 列是我不关心的垃圾数据.我意识到这是 ..

发布时间：2021-11-14 21:07:17 scala apache-spark apache-spark-mllib lda 其他开发

构建 ClassDict 的预期零参数(用于 pyspark.ml.linalg.SparseVector)

我正在努力创建 LDA 模型. 这是我到目前为止所做的 - 创建了一个 unigram 并根据 这篇文章. 代码如下: countVectors = CountVectorizer(inputCol="unigrams", outputCol="features", vocabSize=3, minDF=2.0)模型 = countVectors.fit(res)结果 = 模型.tr ..

发布时间：2021-11-14 21:07:14 python apache-spark pyspark apache-spark-mllib lda Python

Spark MLlib LDA，如何推断新的未见文档的主题分布?

我对使用 Spark MLlib 应用 LDA 主题建模感兴趣.我已经检查了 here 但我找不到如何使用该模型然后在一个新的看不见的文档中找到主题分布. 解决方案 从 Spark 1.5 开始，此功能尚未为 DistributedLDAModel 实现.您需要做的是使用 toLocal 方法将模型转换为 LocalLDAModel，然后调用 topicDistributions(docu ..

发布时间：2021-11-14 20:56:53 apache-spark lda apache-spark-mllib topic-modeling 其他开发

Spark MLlib LDA，如何推断新的未见文档的主题分布?

我对使用 Spark MLlib 应用 LDA 主题建模感兴趣.我已经检查了 here 但我找不到如何使用该模型然后在一个新的看不见的文档中找到主题分布. 解决方案 从 Spark 1.5 开始，此功能尚未为 DistributedLDAModel 实现.您需要做的是使用 toLocal 方法将模型转换为 LocalLDAModel，然后调用 topicDistributions(docu ..

发布时间：2021-11-12 05:35:32 apache-spark lda apache-spark-mllib topic-modeling 其他开发

为什么我们需要LDA中的超参数beta和alpha?

我正在尝试理解潜在狄利克雷分配(LDA)的技术部分，但是我心中有几个问题: 首先:为什么每次采样下面的方程式时都需要添加alpha和gamma?如果我们从等式中删除alpha和gamma怎么办?是否还有可能得到结果? 后验推理被联合概率推理所取代，至少在Gibbs抽样中，您需要联合概率，同时选择一个维来“转变状态"，就像Metropolis-Hasting范例所做的那样.您在此处输入的 ..

发布时间：2021-05-29 20:06:34 lda topic-modeling topicmodels 其他开发

来自R lda包的lda.collapsed.gibbs.sampler命令的输出

我不理解lda.collapsed.gibbs.sampler命令的输出内容.我不明白的是为什么同一个单词在不同主题中的编号不同?例如，为什么在主题8中有37个主题时，第二个主题中有4个单词用于“测试".不同主题中相同单词的数量不应该是相同的整数还是0? 还是我误解了一些，这些数字不代表主题中的单词数? $ topicstests-loc失败测试testmultisendcookiege ..

发布时间：2021-05-29 20:06:25 r package lda topic-modeling 其他开发

如何使用LDA获取每个文档的主题概率以进行主题建模

我使用 scikit-learn LDA 生成LDA模型，然后获得主题词.我想知道如何获得每个文档的每个主题的概率? 解决方案 在拟合模型后，使用 LatentDirichletAllocation 类的 transform 方法.它将返回文档主题分布. 如果您使用 ..

发布时间：2021-05-29 20:06:22 scikit-learn lda topic-modeling 其他开发