Hadoop - 大数据解决方案

传统方法

在这种方法中,企业将拥有一台计算机来存储和处理大数据.出于存储目的,程序员将借助他们选择的数据库供应商,如Oracle,IBM等.在这种方法中,用户与应用程序交互,
依次处理数据存储和分析的部分.

大数据传统方法

限制

这种方法适用于那些处理标准数据库服务器可以容纳的大量数据的应用程序,或者处理数据的处理器的限制.但是,当处理大量可扩展数据时,通过单个数据库瓶颈来处理此类数据是一项繁忙的任务.

Google的解决方案

<谷歌使用名为MapReduce的算法解决了这个问题.该算法将任务分成小部分并将它们分配给许多计算机,并从中收集结果,这些结果在集成时形成结果数据集.Google MapReduce

Hadoop

使用Google提供的解决方案 Doug Cutting 和他的团队开发了一个名为 HADOOP 的开源项目.

Hadoop使用MapReduce算法运行应用程序,其中数据与其他算法并行处理.简而言之,Hadoop用于开发可以对大量数据执行完整统计分析的应用程序.

Hadoop框架