hdfs - 刚接触hadoop，关于完全分布式环境下数据处理的问题。

问题描述

问 题

是这样的，在hadoop完全分布式环境下，有一个主节点和两个从节点，我想处理一个很大的数据文件，因为我们有两个从节点，可以通过mapreduce编写程序把数据分成两部分然后分别让每个节点去处理，最后在输出数据？

解决方案

那样就失去大数据组件的意义了，你只需要直接把数据上传，hadoop自己会决定由谁来执行计算，不需要人为写代码。

这篇关于hdfs - 刚接触hadoop，关于完全分布式环境下数据处理的问题。的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！