如何从Logstash递增文档的计数字段？
我想从logstash更新elasticsearch中的文档/日志的一个字段。 我的logstash conf文件 输入{ http { host => “ 127.0.0.1”＃默认值：0.0.0.0 port => 31311＃默认值：8080 } } 输出{ stdout {codec => json}， elasticsearch { action =>
..
logstash相关内容
invalid_argument_exception：index.lifecycle.rollover_alias [metricbeat-6.8.4-alias]不指向索引[metricbeat-6.8.4-2020.02.24]
当前正在寻求有关安装ilm的帮助，我已经如下设置了模板，索引别名和策略 PUT metricbeat- 6.8.4-alias-000001 { “ aliases”：{ “ metricbeat-6.8.4-alias”：{ “ is_write_index”：true } } } PUT _template / metricbeat-6.8.4-alias { “
..
如何做“不存在的地方”？在Kibana / ELK中进行类型过滤？
我正在使用ELK从我的日志文件中创建仪表板。我有一个日志文件，其中的条目包含一个id值和一个“成功” /“失败”值，显示具有给定id的操作是成功还是失败。每个操作/ ID可以无限次失败，并且最多只能成功一次。在我的Kibana仪表板中，我想显示每个操作ID带有“失败”值的日志条目的数量，但是我想过滤掉ID存在“成功”日志条目的情况。即，我只对从未成功的操作感兴趣。 解决方案 在Kibana
..
Logstash-CSV输出标头
我正在尝试使用 logstash jdbc插件，并返回带有 logstash csv插件。 我在Logstash文档上花了很多时间，但是我仍然缺少一点。 使用以下logstash配置，结果将为我提供一个文件，其中每行都有标题。我找不到在logstash配置中仅添加第一行标题的方法。 非常感谢帮助。 输出文件 _object $ id; _object $ name;
..
如何将日志从Lambda函数发送到Kibana
我正在尝试将日志发送到kibana.步骤如下所示 创建了一个lambda函数 在步骤1中创建的lambda函数中添加了弹性搜索以搜索日志 我正在Cloud Watch日志组中获取日志 找到将日志发送到kibana的解决方案 解决方案 您正在寻找的被称为将Cloudwatch索引到Elasticsearch并将其可视化为Kibana的最简单方法. 此处
..
Logstash Elasticsearch输入-仅运行一次?
我正在尝试将一小部分数据从索引A复制到索引B. 我有一个在EC2实例上运行的Logstash配置，其中包含Elasticsearch输入，一些过滤器和Elasticsearch输出. 这是我第一次运行时的正常工作，但是如果将任何新数据添加到索引A(满足输入的查询条件)，则Logstash配置不会检测到它并将其输出到索引B. 这让我想，Elasticsearch输入是否仅运行一次?
..
Logstash-使用Memorize插件
尝试使用“记忆"插件，如下所示: if [message] =~ /matching event/ { grok { match => [ "message", "%{mymatch:datetime}" ] } memorize
..
logstash json发布输出
我目前正在尝试使用tcp输入在JavaScript上发布日志到Logstash. JavaScript帖子 xhr = new XMLHttpRequest(); var url = "http://localhost:5043"; xhr.open("POST", url, true); xhr.setRequestHeader("Content-type", "applic
..
grok匹配模式的常用正则表达式
我需要通用的 RE 来表示以下值 Invoice_IID: 00000000-4164-1638-e168-ffff08d24460 Invoice_IID 00000000-4164-1638-e168-ffff08d24460 invoice iid 00000000-4164-1638-074f-ffff08d24461
..
如何将cassandra与logstash输入连接?
Logstash.conf 输入{tcp {端口=> 7199}}输出{elasticsearch {主机=> [“本地主机"]}} 在7199端口上运行的Cassandra和在localhost:8080上运行的jhipster应用程序. 我们无法通过my_application添加到logstash 未找到log4j2文件. 解决方案 我遇到了同样的问题.通过从 Da
..
正确的ELK多行正则表达式?
..
Python将变量传递到Logstash
我正在尝试使用conf名称中的vars从python2.7调用logstash命令，我尝试运行的完整shell命令是: cat test.txt | sudo /usr/share/logstash/bin/logstash -f test.conf 这是我的Python代码: listname = test b = '/tmp/%s.txt' % (listname) c =
..
如何轻松地将JSON成员提升为主事件级别?
我正在使用http_poller来访问API端点以获取一些我想用Elasticsearch编制索引的信息.结果以JSON格式显示，并且是记录列表，如下所示: { "result": [ {...}, {...}, ... ] } 我真正想将数组中的每个结果对象转换为一个在ElasticSearch中建立索引的事件，因此我尝试使用split过滤器将对象
..
在编写grok模式时需要帮助
有人可以帮我为下面的日志行写grok模式吗? 07-Aug-2017|00:35:08,748 DEBUG [hostname] [Some WebApp Name] [6.9] [127.0.0.1] [1277] 我找不到适应"["&的方法grok模式中的']'. 任何帮助将不胜感激. 解决方案 这应与您的模式匹配: %{MONTHDAY}-%{MONTH}-%{
..
使用单个logstash过滤器从Elasticsearch的多个事件中提取数据
我在ElasticSearch中加载了日志行，该日志行的数据分散在多个事件中，比如说event_id位于事件(第5行)中，event_action位于事件编号88中，更多的event_port信息位于事件编号455中.我提取此数据，以便我的输出如下所示.在这种情况下，多行编解码器将无法工作. { event_id: 1223 event_action: "socket_open" event
..
使用HAProxy进行负载平衡Logback Logstash日志
IP地址: Web应用程序-> 192.168.x.209 HAProxy-> 192.168.x.211 Logstash托运人-> 192.168.x.210 使用以下配置，HAProxy无法从Logstash应用程序接收日志，因此Logstash发货人无法接收日志. 以下是我所做的配置: WebApplication-logback.xml
..
如何基于随机字段Logstash管理多行事件
我最近遇到了与多行事件有关的问题，为此，我需要您的一点帮助.我的系统日志服务器正在发送多行事件.一个事件收集多行，并且证明特定事件行是多行事件的一部分的指标是定义用户连接会话的随机数.这是一个自定义生成的日志文件: Feb 16 17:29:04 slot1/APM-LTM notice apd[5515]: 01490010:5: 1ec2b273:Username 'cjones' F
..
没有从Logstash 1.5.4获取每个错误电子邮件警报
我的ELK设置如下: HOST1:组件(生成日志)+ Logstash(将日志发送到Redis) HOST2 :Redis + Elasticsearch + Logstash(基于grok解析数据并将其发送到相同设置的Elasticsearch) HOST3 :Redis + Elasticsearch + Logstash(用于基于grok解析数据并将其发送到相同设置的Ela
..
Logstash读取文件/文档
我想知道logstash配置文件是否可以通过各种方式读取不同的文档，例如docx，pdf，excel，并将它们存储到elasticsearch中. 非常感谢. 解决方案 Logstash无法读取.docx，.xls或.pdf文件，因为这类文件不是文本文件，它们是二进制文件，看上去很简单在被旨在解析它们的应用程序解释后. Logstash设计用于处理纯文本文件，这是确定Logst
..
如何在elasticsearch上使用logstash获取URL路径
我已经使用我的logstash配置进行了测试 127.0.0.1 - - [02/Jun/2016:15:38:57 +0900] "GET /ad/adInfos?id=1 HTTP/1.1" 404 68 filter { grok { match => { "message" => "%{COMMONAPACHELOG}" } } } 它的工作方式如下 {
..