HBase地区服务器和Hadoop数据节点应该位于同一台计算机上吗？ [英] Should the HBase region server and Hadoop data node on the same machine?

问题描述

1. 对不起，我没有资源来设置群集来测试它，我只是想知道： >

   我可以在不同于hadoop数据节点机器的独立机器上部署hbase服务器吗？我想答案是肯定的，但我不确定。
   

2. 在不同的机器上部署hbase区域服务器和hadoop数据节点是好还是不好？当把一些数据放入hbase中时，这些数据最终存储在哪里，数据节点或区域服务器是什么？ 我猜这是数据节点，但区域服务器中的StoreFile和HFile是什么，是不是存储我们数据的物理文件？

div>



1. 如果您需要良好的性能，RegionServers应始终与分布式群集中的DataNode一起运行。

非常差，这将违背数据局部性原则（如果您想了解更多关于数据局部性的信息，请查看： http://www.larsgeorge.com/2010/05/hbase-file-locality-in-hdfs.html ）



2. 实际数据将存储在HDFS（DataNode）中，RegionServers负责服务和管理区域。




有关HBase体系结构的更多信息，请查看Lars博客中的这篇优秀帖子： http://www.larsgeorge.com/2009/10/hbase-architecture-101-storage.html





顺便说一句，像罗因为您拥有一台拥有像样内存的PC，您可以使用虚拟机设置演示群集。如果没有在开发环境中首先对平台进行正确测试，千万不要尝试设置生产环境。




Sorry that I don't have the resource to set up a cluster to test it, I'm just wondering to know:

1. Can I deploy hbase region server on a separated machine other than the hadoop data node machine? I guess the answer is yes, but I'm not sure.

2. Is it good or bad to deploy hbase region server and hadoop data node on different machines?

3. When putting some data into hbase, where is this data eventually stored in, data node or region server? I guess it's data node, but what is the StoreFile and HFile in region server, isn't it the physical file to store our data?

Thank you!

解决方案

1. RegionServers should always run alongside DataNodes in distributed clusters if you want decent performance.

2. Very bad, that will work against the data locality principle (If you want to know a little more about data locality check this: http://www.larsgeorge.com/2010/05/hbase-file-locality-in-hdfs.html)

3. Actual data will be stored in the HDFS (DataNode), RegionServers are responsible of serving and managing regions.

For more information about HBase architecture please check this excelent post from Lars' blog: http://www.larsgeorge.com/2009/10/hbase-architecture-101-storage.html

BTW, as long as you have a PC with decent RAM you can set up a demo cluster with virtual machines. Do not ever try to set up a production environment without properly test the platform first in a development environment.

这篇关于HBase地区服务器和Hadoop数据节点应该位于同一台计算机上吗？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！