将HDFS数据移入MongoDB [英] Moving HDFS data into MongoDB

问题描述

我试图将HDFS数据移入MongoDB。我知道如何使用sqoop将数据导出到mysql中。我不认为我可以使用MongoDb的sqoop。我需要帮助了解如何做到这一点。

解决方案

基本问题是mongo以BSON格式（二进制JSON）存储其数据，而您的hdfs数据可能具有不同的格式（txt，sequence，avro）。最简单的事情就是使用pig来加载使用这个驱动的结果：

https://github.com/mongodb/mongo-hadoop/tree/master/pig

<进入mongo db。你必须将你的值映射到你的集合 - 在git hub页面上有一个很好的例子。

I am trying to move HDFS data into MongoDB. I know how to export data into mysql by using sqoop. I dont think I can use sqoop for MongoDb. I need help understanding how to do that.

解决方案

The basic problem is that mongo stores its data in BSON format (binary JSON), while you hdfs data may have different formats (txt, sequence, avro). The easiest thing to do would be to use pig to load your results using this driver:

https://github.com/mongodb/mongo-hadoop/tree/master/pig

into mongo db. You'll have to map your values to your collection - there's a good example on the git hub page.

这篇关于将HDFS数据移入MongoDB的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！