自定义输入格式来处理hadoop 0.20中的protobufs [英] Custom inputformat to process protobufs in hadoop 0.20

问题描述

我想用hadoop处理protobufs ....但我不确定从哪里开始。
我不在乎分裂大文件。
protobufs存储为二进制数据...我应该扩展哪些类以使其更容易

解决方案

大象鸟可以使用hadoop处理protobufs。该框架与常规protobuf类一起生成hadoop I / O类。它使用lzo压缩。

I'd like to process protobufs using hadoop....but am unsure where to start. I don't care about splitting large files. The protobufs are stored as binary data...what class should I extend to make it easier

解决方案

elephant-bird can process protobufs using hadoop. This framework generates hadoop I/O classes along with regular protobuf classes. It uses lzo compression.

这篇关于自定义输入格式来处理hadoop 0.20中的protobufs的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！