将数据从Oracle /关系表索引到弹性搜索中的更好的方法是什么？ [英] what is the better way to index data from Oracle/relational tables into elastic search?

问题描述

将大型数据从Oracle数据库索引到弹性搜索集群有哪些选择？要求是将300万条记录一次索引到多个索引中，并且每天还会有大约100万个更改的增量更新。

What are the options to index large data from Oracle DB to elastic search cluster? Requirement is to index 300Million records one time into multiple indexes and also incremental updates having around approximate 1 Million changes every day.

我已经尝试过JDBC插件，用于elasticsearch river / feeder ，两者似乎都在运行，或者需要本地运行弹性搜索实例。请让我知道，如果有更好的选择，运行弹性搜索索引器作为一个独立的工作（可能是基于java）。任何建议将是非常有帮助的。
谢谢。

I have tried JDBC plugin for elasticsearch river/feeder, both seems to be running inside or require locally running elastic search instance. Please let me know if there is any better option for running elastic search indexer as a standalone job (probably java based). Any suggestions will be very helpful. Thanks.

推荐答案

我们使用ES作为报表数据库，当新记录写入SQL时，我们采取以下将它们移动到ES中的操作：

We use ES as a reporting db and when new records are written to SQL we take the following action to get them into ES:

1. 将主键写入队列（我们使用rabbitMQ）


2. 兔子拿起主键（当它有时间），并查询关系数据库以获取所需的信息，然后将数据写入ES

这个过程非常好，因为它处理新数据和旧数据。对于旧数据，只需编写一个快速脚本，将300M主键写入兔子，完成！

This process works great because it handles both new data and old data. For old data just write a quick script to write 300M primary keys into rabbit and you're done!

这篇关于将数据从Oracle /关系表索引到弹性搜索中的更好的方法是什么？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！