logstash相关内容

按模式从事件中删除字段

所以我使用标准的 ELK 堆栈来分析 Apache 访问日志，它运行良好，但我希望使用 KV 过滤器将 URL 参数分解为字段，以便我编写更好的查询. 我的问题是我正在分析的那个应用程序具有“缓存破坏"动态生成的参数，这会导致数以万计的“字段"，每个都出现一次.ElasticSearch 似乎在这方面遇到了严重的问题，它们对我没有价值，所以我想删除它们.下面是一个模式的例子 GET/p ..
发布时间：2021-12-13 11:56:16 其他开发

Logstash 不解析 json

当我在 Kibana 中看到结果时，我发现没有来自 JSON 的字段，此外，message 字段仅包含 "status" : "FAILED". 是否可以从 json 解析字段并在 Kibana 中显示它们?我有以下配置: 输入{文件 {类型 =>“json"路径 =>“/home/logstash/test.json"编解码器 =>json因为db_path =>“/home/logst ..
发布时间：2021-12-13 11:53:24 其他开发

从 kibana 导出到 csv/excel

我正在使用 Elasticsearch Logstash 和 Kibana 为我的一个项目构建概念证明.我有带有图表的仪表板，没有任何问题.我的项目的要求之一是能够下载文件(csv/excel).在 kibana 中，我看到下载文件的唯一选项是单击创建的可视化上的编辑按钮.是否可以在仪表板上添加一个链接，允许用户在不进入编辑模式的情况下下载文件.其次，我想为除我以外的任何查看仪表板的人禁用/隐藏编 ..
发布时间：2021-12-13 11:50:09 其他开发

删除elasticsearch中的旧索引

我的许多日志都以 logstash-Year-Week 格式编入索引.也就是说，如果我想删除几周前的索引，我该如何在 elasticsearch 中实现这一点.有没有一种简单、无缝的方法来做到这一点? 解决方案 Curator 是这里的理想搭档.您可以在此处找到链接 - https://github.com/elastic/curator 像下面这样的命令应该可以正常工作 - cu ..
发布时间：2021-12-13 11:47:56 其他开发

已分析或未分析，选择什么

我只使用 kibana 来搜索 ElasticSearch，我有几个字段只能取几个值(最坏的情况，服务器名称，30 个不同的值). 我确实了解分析对更大、更复杂的字段的作用像这样，但是那些小而简单的我无法理解分析/未分析字段的进步/劣势. 那么，对于“有限的一组值"字段(例如， servername: server[0-9]* ，没有特殊字符可以破坏)使用分析和 not_analyze ..
发布时间：2021-12-13 11:43:21 其他开发

如何将 gems 添加到 Logstash

我正在运行 Logstash 1.4.1，与最新版本相比，我在我的安装文件夹中找不到任何包含 gem 信息的地方(而 github 中的最新代码有那些 gembag.rb、Gemfile 等.) 我当前的问题是我需要使用 Logstash 没有开箱即用的几个 gem，只是 require 'gemname' 似乎不起作用.任何人都可以指导我阅读解释如何添加这些 3rd 方 gem 的阅读材料 ..
发布时间：2021-12-13 11:42:33 其他开发

Kibana 连接两个独立事件

我将 ELK 配置为离线收集数据，日志文件如下所示: Info 2015-08-15 09:33:37,522 用户 3 已连接信息 2015-08-15 10:03:57,592 用户 99 已连接信息 2015-08-15 11:42:37,522 用户 99 断开连接信息 2015-08-15 11:49:12,108 用户 3 断开连接 我正在寻找的是时间线上的平均连接时间. 我 ..
发布时间：2021-12-13 11:41:36 其他开发

Logstash:将两个日志合并为一个输出文档

我已将 syslog 设置为使用以下过滤器将日志发送到 logstash: 输出{弹性搜索{ 主机 =>[“本地主机:9200"]文档 ID =>“%{job_id}"}}筛选 {神通{覆盖 =>[“信息"]}json {来源 =>“信息"}} 我的一个应用程序的典型消息将具有初始状态和 job_id: {"job_id": "xyz782", state: "processing", jo ..
发布时间：2021-12-13 11:35:26 其他开发

logstash jdbc 上的多个输入

我正在使用 logstash jdbc 来保持 mysql 和 elasticsearch 之间的同步.它可以很好地用于一张桌子.但现在我想为多个表做这件事.我是否需要在终端中打开多个 logstash agent -f/Users/logstash/logstash-jdbc.conf 每个都有一个选择查询，或者我们有更好的方法来做，以便我们可以更新多个表. 我的配置文件 输入{数据 ..
发布时间：2021-12-13 11:32:44 其他开发

如何在 logstash.conf 文件中创建多个索引?

我使用以下代码在 logstash.conf 中创建索引 输出{标准输出 {编解码器 =>红宝石调试}弹性搜索{主机 =>“本地主机"协议 =>“http"指数 =>“试用索引器"}} 要创建另一个索引，我通常将上面代码中的索引名称替换为另一个.有没有办法在同一个文件中创建多个索引?我是 ELK 的新手. 解决方案 您可以根据其中一个字段的值在索引名称中使用模式.这里我们使用 type ..
发布时间：2021-12-13 11:30:39 其他开发

如何将 ElasticSearch 与 MySQL 集成?

在我的一个项目中，我计划将 ElasticSearch 与 MySQL 结合使用.我已经成功安装了 ElasticSearch.我可以单独管理 ES 中的索引.但我不知道如何在 MySQL 中实现相同的功能. 我已经阅读了一些文档，但我有点困惑，没有一个清晰的想法. 解决方案 我终于找到了答案.分享我的发现. 要在 Mysql 中使用 ElasticSearch，您需要 Jav ..
发布时间：2021-12-13 11:29:32 数据库

将字符串的默认映射更改为“未分析"在 Elasticsearch 中

在我的系统中，数据的插入总是通过logstash通过csv文件完成.我从不预先定义映射.但是每当我输入一个字符串时，它总是被分析，结果像hello I am Sinha 这样的条目被拆分为hello，我、am、Sinha.无论如何，我是否可以更改 elasticsearch 的默认/动态映射，以便所有字符串(无论索引如何)都被不分析?或者有没有办法在 .conf 文件中设置它?假设我的 conf ..
发布时间：2021-12-13 11:28:37 其他开发

如何使用 Kibana + Elastic Search 检索字段的唯一计数

是否可以使用 Kibana 查询字段的不同/唯一计数?我使用弹性搜索作为 Kibana 的后端. 如果是，查询的语法是什么?这是我想查询的 Kibana 界面的链接:http://demo.kibana.org/#/dashboard 我正在使用 logstash 解析 nginx 访问日志并将数据存储到弹性搜索中.然后，我使用 Kibana 运行查询并在图表中可视化我的数据.具体来说 ..
发布时间：2021-12-13 11:26:11 其他开发

在 ElasticSearch 中加入查询

有没有办法(查询)在 ElasticSearch 中加入下面的 2 个 JSON {产品编号:“1111"，价格:“23.56"，库存:“100"}{产品编号:“1111"，类别:“iPhone 手机壳",制造商:“贝尔金"} 以上 2 个 JSON 在 Logstash 中以 2 种不同类型处理(输入)，因此它们的索引在 Elasticsearch 中的不同“类型"中可用. 我想要的是 ..
发布时间：2021-12-13 11:25:32 其他开发

如何强制 Logstash 重新解析文件?

我安装了 Logstash 来解析 apache 文件.我花了很长时间才使设置正确，而且我总是尝试使用真实日志.我注意到(如文档所述)logstash“记住"了它在文件中的位置.现在我的设置正常，我希望 Logstash“忘记".这似乎比我更难.我已经做了以下事情: 使用:start_position =>“开始" 从 elastissearch 中删除了完整的“data"文件夹(并先 ..
发布时间：2021-12-09 19:51:44 其他开发

如何使用多个实体绑定设置 ElasticSearch 索引结构

最近，我开始致力于将 ElasticSearch (ES) 实现到使用 MySQL 用 PHP 编写的旧电子商务应用程序中.我对所有这些东西都是全新的，阅读文档很好，但我真的需要有经验的人来给我建议. 从 ES 文档中，我能够设置一个新的集群，并且我还发现河流已被弃用并且应该被替换，因此我将它们替换为 Logstash 和 JDBC MySQL 连接器. 此时我有: 弹性搜索 ..
发布时间：2021-11-20 21:40:03 PHP

如何将 Wazuh 服务器与 HELK 集成

我想将 Wazuh 服务器与 HELK 集成，但我做不到，logstash 也无法获取来自 kafka 的任何 Wazuh 警报或将 Wazuh 警报发送到 Elasticsearch.我使用“wazuh-alerts"名称创建 kafka 主题并在 logstash 配置文件中设置我的配置.有什么问题? 在 HELK 中，Logstash 配置放置在管道目录中，它包含以下文件: 0002 ..
发布时间：2021-11-12 03:14:13 其他开发

如何将 Wazuh 服务器与 HELK 集成

我想将 Wazuh 服务器与 HELK 集成，但我做不到，logstash 也无法获取来自 kafka 的任何 Wazuh 警报或将 Wazuh 警报发送到 Elasticsearch.我使用“wazuh-alerts"名称创建 kafka 主题并在 logstash 配置文件中设置我的配置.有什么问题? 在 HELK 中，Logstash 配置放置在管道目录中，它包含以下文件: 0002 ..
发布时间：2021-11-12 03:12:55 其他开发

Logstash 编解码器 - Avro 架构注册表:avro_schema_registry 由于未定义的局部变量或方法“响应"而失败

我有一个 Logstash conf，它以 json 格式从 Kafka 主题中读取，它使用 avro_schema_registry 将输出序列化为 avro.这是配置文件: 输入{卡夫卡{group_id =>“测试组"主题 =>[“logs_json"]bootstrap_servers =>“服务器 2:9094，服务器 1:9094，服务器 3:9094"编解码器 =>“json"消费 ..
发布时间：2021-11-12 03:12:19 其他开发