收集不将数据推送到Logstash
我收集的设置未将日志推送到Logstash.不知道这里是什么问题. 我已经在收集的服务器上运行了tcpdump.即使它没有发送任何请求.我认为，问题可能已经解决.有人对这里出什么问题有任何想法. 注意:服务器防火墙中没有阻塞. 解决方案 将第六行倒数第二行中的"collectd"更改为collectd.
..
logstash相关内容
未使用Logstash解析输出文件和编解码器的配置
我正在尝试“简单"的logstash配置，并希望输出文件进行检查.因此，我从 https://www中获取了conf. elastic.co/guide/en/logstash/current/plugins-outputs-file.html 并将其放在我的conf中: input {
..
Logstash筛选器:聚合-超时自动保存
我在AWS中有一个Lambda函数，该函数将日志报告给ELK实例. lambda函数的每次调用都会生成一个唯一的invocation_id，该invocation_id与每个日志事件一起发送，因此可以在ELK中标识来自单个调用的事件.在操作结束时，我发送了一个“完成"事件. Lambda函数可能会失败或超时，然后不会发送“完成"事件. 我想使用 logstash聚合过滤器识别失败的调用
..
无法使用mongoDB配置启动Logstash?
我在mongodb 3.0.4中使用logstash-1.5.2.并且我正在尝试使用以下配置启动logstash，但该配置不起作用. input{ stdin{ } } output { mongodb { database => "logdb" collection => "plain" uri => "mongodb://local
..
从ElasticSearch提取到Kafka，使用logstash连续不断地进行任何新的ES更新
我有一个带有多个索引的ES集群，它们都在随机的时间间隔内接收更新.我有一个logstash实例，它从ES提取数据并将其传递到Kafka. 什么是每分钟运行一次并在ES中获取任何更新的好方法? Conf: input { elasticsearch { hosts => [ "hostname1.com:5432", "hostname2.com" ]
..
使用Losgtash解析日志
我正在使用Logstash解析日志文件.日志行示例如下所示. 2011/08/10 09:51:34.450457,1.048908，tcp，213.200.244.217,47908，->，147.32.84.59,6881，S_RA，0,0,4,244,124，flow =背景建立的cmpgw-CVUT 我在配置文件中使用以下过滤器. grok { match
..
发送到ElasticSearch之前，用logstash过滤特定的消息
我想知道是否可以通过logstash仅向elasticsearch发送特定的日志消息?例如，假设我的日志文件中包含以下消息: 2015-08-14 12:21:03 [31946] PASS 10.249.10.70 http://google.com 2015-08-14 12:25:00 [2492] domainlist \"/etc/ufdbguard/blacklists\
..
在Logstash中合并多个事件
我有一个Logstash配置，我从石墨输入中读取简单的行(但是如果有帮助的话，也可能只是tcp)，然后通过AMQP将它们转发到RabbitMQ. input { graphite { host => localhost type => carbon port => 22003 } } output { rabbitmq { codec => js
..
logstash 1.5.3无法使用浮点而不是int索引相同的json
当我在logstash配置中将kafka用作输入，而将elasticsearch用作输出时，我看到了一个奇怪的错误.我能够发送如下的json对象: { "user": "foo" "amount": 1 } 但是当它尝试写时: { "user": "foo" "amount": 0.1 } 它失败并 :message=>"failed action with res
..
Logstash过滤器正则表达式进入字段
我在解析日志行时遇到一些问题. 我有大量的日志行，每个日志行都包含一个主机名，例如ABC123DF 我已经写了一个正则表达式，我想将其应用到日志行，并将主机名放在"victim"字段中，如下所示: add_field => [ "victim", "/[a-z][a-z][a-z][0-9][0-9][0-9].." 我使用了Mutate过滤器，但结果是 受害者/[a-z]
..
Logstash Elasticsearch输入插件，用于流式传输数据
我想知道我们是否可以使用logstash-input-elasticsearch插件来流式传输数据，例如:如果我的数据库中有可用数据并且运行ElasticSearch输入插件，它将把数据索引到输出中，但是如果一段时间后，会有更多数据从ElasticSearch数据库进入，ElasticSearch输入插件是否能够在不重新启动logstash的情况下为该数据建立索引? 感谢您的关注和帮助.
..
Grok中的正则表达式有时会获取值，有时却无法
我在grok中有一个代码，该代码可以捕获消息，并且如果它们符合给定的条件，则它们会得到一个标签. 我的问题是，有时此过滤器在测试时有效，有时却无效.有问题的正则表达式如下: ^(?!(?:\d\d\d\d-\d\d-\d\d.\d\d:\d\d:\d\d)).*$ 此行检查给定消息是否不是以给定时间戳记格式开头.换句话说:如果给定的消息不是以该时间戳记开头的，那么它将获得一个标签.
..
根据文件拍数据将字段添加到logstash
因此，我有一个由filebeat设置的主机名(并且我编写了一个应该抓住它的正则表达式)，但是以下内容并未按照我认为的方式添加字段.. grok{ patterns_dir => "/config/patterns" match =>{ "beat.hostname" => ["%{INSTALLATION}-%{DOMAIN}-%{SERVICE}"] } add_field
..
在这种使用情况下，如何在配置文件中使用正则表达式?
我正在使用LogStash，该工具接受来自日志文件的数据，该日志文件具有不同类型的日志. 我尝试过: filter { grok { match => { "message" => "%{WORD:tag} %{WORD:message} %{WORD:value} } } 但这是行不通的. 解决方案 我正在使用grok过滤器来检查日志行是否
..
logstash多行过滤器:消息刷新的最后一部分
在多行过滤器中存在一个已知问题，因为它仍在等待跟随模式并且没有被冲洗掉，所以它不打印被过滤的输入的最后一部分. 问题已解决吗?如果可以的话，是否有一个标签可以冲洗掉最后一部分? 解决方案 根据此JIRA，刷新功能应该位于logstash 1.5中:enable_flush添加到了
..
Logstash HTTP输出无法发布到需要客户端证书的HTTPS端点
我当前正在尝试通过http输出将我们生产环境中的Logstash接收服务器的一些示例事件发送到测试环境. 接收端的服务器是一个自定义的Nginx HTTPS端点，该端点接受发布数据(单个事件的端点和批量事件的端点，以支持Elasticsearch批量索引格式)并将其放入Redis队列，最终由Logstash处理服务器读取. logstash接收服务器上的当前http输出看起来像这样:
..
如何从logstash输出中grep particulr字段
我正在尝试仅从logstash 1.repositories#create 2.\"repo \":\"username/reponame \"的输出中grep几个字段.请分享您的想法，以从该输出中提取特定信息，并将其分配给另一个变量 “消息" =>“ 11月1日20:35:15 10-254-128-66 github_audit:{\" actor_ip \“:\" 192.
..
加载期间的数据转换
在我的服务器上运行一个名为"logstash"的应用程序.该应用程序从多个服务器接收日志条目，并将它们作为JSON文档上载到MongoDB.就像魅力一样. 示例: { u'syslog_message': u'[10724525.839722] [UFW BLOCK] IN=venet0 OUT= MAC= SRC=1.2.3.4 DST=9.8.7.6 LEN=52 TOS=
..
使用大型字典执行logstash时出现堆空间错误(翻译过滤器)
我收到错误java.lang.OutOfMemoryError:Java堆空间，同时在转换过滤器中执行具有353 MB大型字典的logstash时. 我用它来查找输入数据. 我试图允许JVM使用更多的内存(使用java -Xmx2048m).假设我做错了，因为它没有效果. 我用“更小的"字典测试了配置文件，并且工作正常.有什么帮助吗?如何给logstash足够的内存以至于不死?
..
无法从Logstash中的多行日志中获取解析值
我正在使用Logstash将JSON消息输出到API.在“简单日志"行上，我的grok模式和配置工作正常，但是在异常和堆栈跟踪期间无法动态获取值. 日志文件: TID: [-1234] [] [2016-06-07 12:52:59,862] INFO {org.apache.synapse.core.axis2.ProxyService} - Successfully creat
..