跨2 zookeeper集群复制数据的最佳方法? [英] best way to copy data across 2 zookeeper cluster?

问题描述

我正在运行一些Zookeeper集群，我的目标是将这些zk集群上的数据组合到一个单独的Zookeeper集群中.

I have some zookeeper clusters on running, my goal is to combine data on these zk clusters onto one single zookeeper cluster.

因此，对于我来说，不可能将一个zk群集的整个数据和日志目录复制到另一个zk群集.而且，我可能需要重新建立一个完整目录的路径，例如，我可能需要将zk cluster1上/service1的数据复制到zk cluster 2上的/c1/service1

So copy the whole data and log dir of one zk cluster to another zk cluster is not a possible approaching for me. And also, I might need to rebase one entire dir's path, for example, I might need to copy data for /service1 on zk cluster1 onto /c1/service1 on zk cluster 2

当前，我正在通过编写一些zk客户端代码来读取zk群集1上的包含数据和ACL信息的整个目录树，并将其写入zk群集2来完成这项工作.

currently, I am doing this work by write some zk client code to read the entire dir tree with data and ACL info on zk cluster 1 and write it to zk cluster 2.

但是，这种处理方式仍然存在一些问题:

However, there are some issues remain with this approaching:

1. 很难确定在复制过程中要更新哪个节点.
2. 顺序节点可能是个问题，我只能将其写为普通的非顺序节点，而在新集群上进一步创建顺序节点时，因为顺序节点的序列号是根据父节点的Cversion信息创建的(代码看起来像这样，但是如果执行了一些删除操作，该值将偏移()，因为我无法控制父节点的Cversion(可以吗?).如果Cversion小于现有顺序节点的序列号(可能会发生，因为我们确实将数据复制到新集群上并忽略了历史操作)，因此进一步创建顺序节点可能会导致node.exist错误.

那么还有什么更好的方法可以实现我的目标?

So is there any better way to achieve my goal?

推荐答案

您可以使用 zkcopy 复制两个Zookeeper集群之间的数据.

You can use zkcopy to copy data between two zookeeper clusters.

这篇关于跨2 zookeeper集群复制数据的最佳方法?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！