有没有一种方法可以使用Logstash将两个不同数据源(即Mysql和Postgres SQL)的数据库连接起来并对其进行索引以进行弹性搜索? [英] Is there a way to join databases of two different data sources(ie. Mysql and Postgres SQL) using logstash and indexing it to elastic search?

问题描述

我对ELK还是很陌生，想知道是否有一种方法可以将来自不同来源(例如MYSQL和Postgres)的两个数据库联接起来，并在使用logstash的Elasticsearch中将其索引到单个索引.

I am very new to ELK and want to know if there is a way around to join two databases from different sources (ie. MYSQL and Postgres) and indexing it to a single index in elasticsearch using logstash.

因为我能够在pyspark的帮助下实现相同的目标.但是如果可能的话，我想使用日志存储实现相同的目的！

As I am able to achieve the same with the help of pyspark. But I want to achieve the same thing using log stash if it's possible!

此外，请提出一些其他可行的方法来实现相同的目标，而不是火花和对数.

Also, suggest some other feasible ways to achieve the same apart from the spark and logstash.

预先感谢！

推荐答案

您绝对可以通过使用 jdbc_streaming (如果数据变化更多)通常)过滤器.

You can definitely achieve this by sourcing data from one database using a jdbc input and then joining it with data coming from another database that is sourced with either the jdbc_static (if the data doesn't change too often) or jdbc_streaming (if the data changes more often) filters.

这篇关于有没有一种方法可以使用Logstash将两个不同数据源(即Mysql和Postgres SQL)的数据库连接起来并对其进行索引以进行弹性搜索?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！