Mallet主题建模 [英] Mallet topic modelling

问题描述

我一直在使用mallet来推断包含100,000行（大约34 MB的mallet格式）的文本文件的主题。但现在我需要在包含一百万行（大约180MB）的文件上运行它，我得到一个java.lang.outofmemory异常。有没有办法将文件拆分成较小的文件并为所有文件中存在的数据构建模型？
提前感谢

I have been using mallet for inferring topics for a text file containing 100,000 lines(around 34 MB in mallet format). But now i need to run it for on a file containing a million lines(around 180MB) and I am getting an java.lang.outofmemory exception . Is there a way of splitting the file into smaller ones and build a model for the data present in all the files combined?? thanks in advance

推荐答案

在 bin / mallet.bat 中增加此行的值：

set MALLET_MEMORY=1G

这篇关于Mallet主题建模的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！