在 Hadoop Streaming 中生成单独的输出文件 [英] Generating Separate Output files in Hadoop Streaming

问题描述

只使用一个映射器(一个 Python 脚本)而不使用 reducer，我怎样才能为每一行输出输出一个以键作为文件名的单独文件，而不是输出长文件?

Using only a mapper (a Python script) and no reducer, how can I output a separate file with the key as the filename, for each line of output, rather than having long files of output?

推荐答案

您可以使用 python 文件函数写入本地文件系统上的文本文件，或者如果您想使用 HDFS，请使用 Thrift API.

You can either write to a text file on the local filesystem using python file functions or if you want to use HDFS use the Thrift API.

这篇关于在 Hadoop Streaming 中生成单独的输出文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！