如何存储在主服务器上的文本文件? [英] How to store the text file on the Master?

查看:184
本文介绍了如何存储在主服务器上的文本文件?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我使用的独立集群来运行ALS算法。在predictions正在使用存储在文本文件:

I am using Standalone clusters to run the ALS algorithm. The predictions are being stored to the textfile using:

saveAsTextFile(path)

但文本文件被存储在集群。我想存储在主服务器上的文本文件。

But the text file is being stored on the clusters. I want to store the text file on the Master.

推荐答案

这是预期的行为。 路径是计算机它解决
被执行,则奴隶。我建议要么使用群集FS
(例如HDFS)或 .collect()资料,让您可以在本地保存
大师。谨防OOM,如果你的数据是很大的。

That is expected behavior. path is resolved on the machine it is executed, the slaves. I'd recommend to either use a cluster FS (e.g. HDFS) or .collect() your data so you can save them locally on the master. Beware of OOM if your data is large.

这篇关于如何存储在主服务器上的文本文件?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆