在Hadoop Streaming中生成单独的输出文件 [英] Generating Separate Output files in Hadoop Streaming
本文介绍了在Hadoop Streaming中生成单独的输出文件的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
只使用映射器（一个Python脚本）而不使用reducer，我怎样才能输出一个单独的文件，其中每个输出行的键名都是文件名，而不是长文件的输出？
Using only a mapper (a Python script) and no reducer, how can I output a separate file with the key as the filename, for each line of output, rather than having long files of output?
推荐答案
您可以使用python文件函数在本地文件系统上写入文本文件，或者如果您想使用HDFS，可以使用 Thrift API 。
You can either write to a text file on the local filesystem using python file functions or if you want to use HDFS use the Thrift API.
这篇关于在Hadoop Streaming中生成单独的输出文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
