logstash相关内容
我已经创建了 https://github.com/mongodb/mongo-kafka 但这如何与我正在运行的kafka实例连接. 这个问题听起来多么愚蠢.但是似乎没有可用的文档来使此代码与在本地运行的 mongodb 的 replicaset 一起使用. 所有博客都指向使用mongo地图集. 如果您有足够的资源，请指导我. 更新1- 使用的maven插件-
..
是否可以根据存储段路径添加字段/标签?我尝试使用grok，但是没有用. 解决方案 使用Logstash 6.0.1，您将能够从S3获取每个文件的密钥(或路径). 示例: 输入{s3 {桶=>“"前缀=>“"}}筛选 {变异{add_field =>{“文件" =>“％{[@ metadata] [s3] [key]}"}}...} 参考: :
..
我有一个RabbitMQ以JSON格式发送3个字段，Logstash rabbitmq输入插件正在使用它. 其中一个字段是一个JSON字符串数组，如下所示: "content": [ "1111", "2222222", "Test 06", "3", "3232", "SomeValue1" ] 如何将每个字符串输入字段，以便可以从可用字段中快速发现Kib
..
{:timestamp=>"2017-07-19T15:56:36.517000+0530", :message=>"Attempted to send a bulk request to Elasticsearch configured at '[\"http://localhost:9200\"]', but Elasticsearch appears to be unreachable or
..
我想使用 logstash 将数据从 Http 发送到 elasticsearch ，并且我想使用 jdbc_streaming 丰富我的数据>过滤器插件.这是我的logstash配置: input { http { id => "sensor_data_http_input" user => "sensor_data" password => "sensor_d
..
我有很多的弹性搜索索引，它们是由logstash每天创建的，格式为: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting-v2-%{+YYYY.MM.dd}" 我想在elasticsearch中创建一个别名，该别名将从索引名称中删除版本号.我打算将我的kibana实例指向别名索引而不是版本索引，以便我可以更改版本号而不影响kib
..
在此先感谢您的帮助.我想重新加载一些日志以自定义其他字段.我注意到filebeat配置中的注册表文件会跟踪已经选择的文件.但是，如果删除该文件中的内容，则不会恢复旧的日志.我也尝试过更改注册表文件中源的时间戳，但不成功.将旧的日志从Filebeat发送到logstash需要进行哪些更改? 我该如何找回日志? 更新: 这是tomcat容器中的最后一次登录: 2019-03-1
..
我正在使用ELK从两个不同的数据库的数据中生成视图.一种是mysql，另一种是PostgreSQL.在这两个数据库实例之间无法编写联接查询.但是我有一个通用的现场呼叫"nic".以下是每个索引的文档. MySQL 索引:user_detail "_id": "871123365V", "_source": { "type": "db-poc-user", "fna
..
我开始使用创建角色API，它按预期工作:我获得了Elasticsearch中默认角色的列表，/_security/role，但是我不知道要创建以下角色，也无法为其找到合适的文档. 我想根据以下需求对用户进行隔离， 角色，该角色有权在Elastic Search中的所有索引中仅执行READ/WRITE(该角色不应具有创建/删除索引的特权 有权在基巴纳州上仅执行操作的角色 有权在Log
..
我对ELK堆栈还很陌生，尝试使用它.我有一个保存在文本文件中的json-只想将其发送到弹性搜索并使用kibana进行查看. 这是我的conf文件: input { file { path => ["C:/Users/vaish/Desktop/sample.txt"] start_position => beginning
..
我在配置logstash时遇到问题.我希望能够为mongodb输入jdbc. 我的配置: input{ jdbc{ jdbc_driver_library => "mongo-java-driver-3.2.2.jar" jdbc_driver_class => "com.mongodb.MongoClient" jdbc_con
..
当我在数据库(MySQL)中插入新数据时，Logstash不会动态添加它:在下面，您将看到logstash.conf(这是将elasticsearch与mysql连接的文件) input { jdbc { jdbc_connection_string => "jdbc:mysql://localhost:3306/blog" #Accès à la base de donnée
..
我想知道是否可以使用Logstash消息中的字段作为Grok模式的输入.假设我有一个看起来像这样的条目: { "message":"10.1.1.1", "grok_filter":"%{IP:client}" } 我希望能够做这样的事情: filter { grok { match => ["message", ["%{grok_filter}"]]
..
是否可以在过滤器内部使用ruby代码?像这样的东西: filter { csv{ ruby { code => " fieldArray = event['message'].split(',') for field in fieldArray event[field] = field
..
我有一台机器上设置了Elasticsearch和Logstash，并通过Filebeat从另一台机器上发送了日志.我想添加一台新机器，可以从中将日志发送到Logstash，对其进行解析并存储在相同的Elasticsearch索引中. 我试图用相同的Logstash输出在新计算机上配置filebeat，但似乎logstash无法从多个来源接收数据... logstash配置文件:
..
我在Windows机器上运行了Elasticsearch，Filebeat和Kibana. Filebeat日志具有正确的日志文件，正在侦听路径.当我查看Kibana中的数据时，看起来不错. 我的问题是message字段是一个字符串. 一个日志行的示例: 12:58:09.9608 Trace {"message":"No more Excel rows found","leve
..
我有以下情况: FileBeat ----> Kafka -----> Logstash -----> Elastic ----> Kibana 在Filebeat中，YML文件中有2位探矿者.并且我添加了一些字段来标识日志数据. 但是，问题是:在Logstash中，我无法验证此字段. 配置文件为: 1. filebeat.yml filebeat.prospecto
..
按照digitalocean教程，我将我的ELK节点作为RedHat服务器设置了ELK堆栈和filebeat。 Kibana已启动并正在运行，但是当我将索引模式配置为logstash- *时，我看不到任何logstash索引： 无法获取映射。您是否有与模式匹配的索引？ 当我卷曲查看所拥有的索引时，它们只是filebeat索引。 Filebeat应该将数据推送到正在监听504
..
我的索引如下： { “ _index”：“ mydata”， “ _type”：“ _doc”， “ _id”：“ PuhnbG0B1IIlyY9-ArdR”， “ _score”：1， “ _source”：{ “ age”： 9， “ @version”：“ 1”， “ updated_on”：“ 2019-01-01T00：00：00.000Z”， “ id”：4， “ name”
..
我正在将logstash与输入jdbc一起使用，并希望通过聚合将一个对象嵌入另一个对象。 如何使用添加递归？ 是否在另一个对象内添加对象？ 这是一个示例： { “ _index”：“ my-index”， “ _type”：“ test”， “ _id”：“ 1”， “ _version”：1， “ _score”：1， “ _source”：{ ” id”：“ 1”， “
..
