pyspark:如何在 spark 1.6.3 上使用法语配置 StopWordsRemover [英] pyspark : how to configure StopWordsRemover with french language on spark 1.6.3

问题描述

我想知道如何在 spark 1.6.3 中使用法语配置 stopwordsremover.

I would like to know how to configure stopwordsremover with french language in spark 1.6.3.

我目前正在使用 pyspark.

I'm currently using pyspark.

感谢您的帮助.

最好的问候，

推荐答案

看看 nltk包

我用它来表示葡萄牙语单词:

I use it for portuguese words:

from pyspark.ml.feature import StopWordsRemover
import nltk
nltk.download("stopwords")

...

stopwordList = nltk.corpus.stopwords.words('portuguese')
remover = StopWordsRemover(inputCol=tokenizer.getOutputCol(), outputCol="stopWordsRem", stopWords=stopwordList)

希望能帮到你

这篇关于pyspark:如何在 spark 1.6.3 上使用法语配置 StopWordsRemover的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！