如何在logstash中使用sincedb？
我有成千上万的日志文件，它每天都被下载。我正在使用logstash和ElasticSearch进行解析，索引和搜索。 现在我正在使用文件输入插件来读取下载的文件并进行解析。我没有设置 sincedb_path ，所以它存储在 $ HOME 中。但问题是它读取日志文件只有一天。这是我输入的配置： input { file { path => “/ logs / downloads
..
logstash相关内容
SearchPhaseExecutionException [无法执行phase [query]，所有分片失败]
最近我们的服务器重新启动，没有正确关闭Elastic Search / Kibana。在重新启动之后，这两个应用程序正在运行，但没有创建任何索引。我在调试模式下检查了logstash设置，它正在向Elastic Search发送数据。 现在我创建的窗口都报告了这个错误： 糟糕！ SearchPhaseExecutionException [无法执行阶段[查询]，所有分片失败]
..
如何从文本文件行中的logstash / grok中解析json？
我有一个这样的日志文件（简化） Logline示例 MyLine data = {“firstname”：“bob”，“lastname”：“生成器”} 我想提取数据中包含的json，并创建两个字段，一个用于名字，一个用于最后一个。但是，我得到的输出是： {“message”：“行数据= {\”firstname\“ ：\“bob\”，\“lastname\”：\“bui
..
在ElasticSearch中加入查询
有没有办法（查询）在ElasticSearch中加入2个JSONs { product_id：“1111 “， 价格：”23.56“， 股票：”100“ } { product_id：”1111“， 类别：“iPhone case”， 制造商：“Belkin” } 以上2在Logstash中，2个不同类型的JSON被处理（输入），所以它们的索引可以在Elast
..
logstash + elasticsearch：重新加载相同的数据
管理以获取logstash（1.3.1）将数据发送到弹性搜索（0.9.5）。 我的logstash conf文件设置是 input { file { path => [“D：/apache-tomcat-7.0.5/logs /*.*”] } } 输出{ stdout {} elasticsearch_http { host => “localhost” po
..
如何将Tomcat6的catalina.out文件与Logstash + ElasticSearch + Kibana集成？
我想要一个集中的日志记录服务器。 我已经基于此iso 。 成功并严格按照本教程步骤，我有： 一个具有Logstash + ElasticSearch + Kibana的日志服务器。 应用程序服务器与Logstash转发器，Tomcat 6和另一个应用程序，其日志正在catalina.out文件中注册。 我的问题是： 现在，为了将catalina.out日志从App
..
如何在从logstash索引到弹性搜索时重复数据删除文档
我正在使用Logstash 1.4.1和ES1.01，并希望根据计算的校验和替换已经编入索引的文档。我正在Logstash中使用“指纹”过滤器，它基于指定的算法创建一个“指纹”字段。现在 - 我想要完成的是，ES 根据相同的指纹值替换已经存在的文档。 说，例如我具有指纹字段值为“2c9a6802e10fbcff36177e0b88993f90868fa6fa”的文档。现在 - 如果具有相同指
..
Logstash输入jdbc是重复的结果
我使用logstash输入jdbc插件来读取两个（或更多）数据库，并将数据发送到弹性搜索，并使用kibana 4来对这些数据进行虚拟化。 这是我的logstash配置： input { jdbc { type => “A” jdbc_driver_library => “C：\DEV\elasticsearch-1.7.1\plugins\elasticsearch-jdbc-
..
logstash jdbc上有多个输入
我使用logstash jdbc来保持mysql和elasticsearch之间的事物同步。它的工作罚款一张桌子。但是现在我想为多个表做它。我需要在终端中打开多个 logstash agent -f /Users/logstash/logstash-jdbc.conf 每个都有一个选择查询，或者我们有一个更好的方法，所以我们可以更新多个表。 / p> 我的配置文
..
如何在logstash.conf文件中创建多个索引？
我使用以下代码在logstash.conf中创建索引 output { stdout { codec => rubydebug} elasticsearch { host => “localhost” protocol => “http” index => “trial_indexer” } } 要创建另一个索引，我通常将索引名称与上述代码中的另一个。有没有
..
Logstash grok过滤器来标记接收和退回的消息
Sthg让我疯狂，我想解析Postfix日志以了解电子邮件的状态，这里是我迄今为止所尝试的： input { file {path => “/var/log/mail.log”} } 过滤器{ kv { trim => “<>” 中 } 如果[message] =〜/ [“status = bounced”] / { grok { patterns_dir =
..
logstash jdbc连接器基于时间的数据
在这里使用新的logstash jdbc连接器： https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html 后续的logstash如何运行效果已经编入ElasticSearch的内容？它是否在ES索引中创建新文档，还是更新与已经被索引的行匹配的文档？我试图解决的用例是将带有时间戳的行索引到弹性搜索中，
..
Kibana连接两个独立的事件
信息2015-08-15 09：33：37,522用户3连接 信息2015-08-15 10：03：57,592用户99连接 信息2015-08-15 11：42：37,522用户99断开 信息2015-08-15 11：49：12,108用户3断开 我在看什么for是在时间线上的平均连接时间。 我无法向消息添加更多信息，具体来说我无法将连接时间添加到断开连接消息。
..
Logstash，从xml文件中分离事件，保存来自根标记的信息
我的问题： 我有XML文件，其中包含要使用Logstash解析的事件，以使用Kibana以后请求它。我想在每个事件中保留ROOT标签的所有信息。 输入内容如下：
..
去除弹性材料中的旧指数
我以Logstash-Year-Week格式索引了许多我的日志。那就是如果我想删除几周以前的索引，那我怎么能在弹性搜索中实现呢？有没有一个简单，无缝的方式来做到这一点？ 解决方案 策展人将是一个理想的比赛。 您可以在这里找到链接 - https://github.com/elastic/curator 以下命令应该可以正常工作 - 策展人 - 主机删除索引--old
..
Logstash不解析json
当我在Kibana中看到结果时，我看到没有JSON的字段，更多的是消息字段只包含“status”： “FAILED”。 是否可以从json解析字段并在Kibana中显示？ 我有以下配置： input { file { type => “json” path => “/home/logstash/test.json” codec => json sincedb_path
..
从事件逐个删除字段
所以我使用标准的ELK堆栈来分析Apache访问日志，这是非常有效的，但是我正在使用KV过滤器将URL参数作为字段进行分析，以便让我更好地查询。我的问题是，我正在分析的应用程序具有“缓存清除”动态生成的参数，这导致了成千上万的“字段”，每次出现一次。 ElasticSearch似乎有这样的严重问题，他们对我没有价值，所以我想删除它们。以下是模式的一个示例： GET / page？rand12
..
计算事件之间的时间
我有一个消息流过几个系统，每个系统记录消息条目并退出时间戳和uuid messageId。我正在通过以下方式吸收所有日志： filebeat - > logstash - >弹性搜索 - > kibana 因此，我现在有这些事件： @timestamp messageId事件 2016年5月19日，02：55：29.003 00e02f2f-32d5-95
..
将字符串的默认映射更改为“未分析”在弹性搜索
在我的系统中，数据的插入总是通过logstash通过csv文件完成的。我从来没有预先定义映射。但是每当我输入一个字符串，它始终被认为是分析，结果是一个条目，如 hello我是Sinha 被分成 hello ， I ， am ，code>辛哈。有没有办法我可以改变弹性搜索的默认/动态映射，所以所有字符串，无论索引，不管类型是否被认为是不分析？还是有一种在 .conf 文件中设置它的方法？说我的 co
..
如何使用Kibana + Elastic Search检索字段的唯一计数
可以使用Kibana查询一个不同/唯一的字段计数吗？我正在使用弹性搜索作为我的后座到Kibana。 如果是，查询的语法是什么？我想查询一下Kibana界面的链接： http://demo.kibana.org/#/dashboard 我正在使用logstash解析nginx访问日志，并将数据存储到弹性搜索中。然后，我使用Kibana来运行查询并在图表中可视化我的数据。具体来说，我想知道
..