logstash相关内容

Logstash无法读取文件

我第一次使用Logstash.我在Windows 10上我尝试从这样的input/文件夹访问多行json文件: 输入{文件{编解码器=>多行{模式=>'^/{'否定=>真的什么=>以前的}路径 =>"/input/*.json"排除=>"* .gz"}}筛选{变异{替换=>["message",“%{message}"]]gsub =>['message','\ n','']}如果[消息] =〜 ..
发布时间:2021-05-30 20:57:47 其他开发

Logstash动态分配模板

我已阅读到可以为这样的索引分配动态名称: elasticsearch {群集=>"logstash"索引=>"logstash-%{clientid}-%{+ YYYY.MM.dd}"} 我想知道的是是否还可以动态分配模板: elasticsearch {群集=>"logstash"模板=>"/etc/logstash/conf.d/%{clientid}-template.json" ..
发布时间:2021-05-30 20:57:26 其他开发

使用Logstash句柄删除方案的增量索引

每当插入或更新新行时,我都会使用下面的Logstash配置在其中进行增量索引编制,我能够从MSSQL服务器获取那些特定的行并将其作为文档插入Elasticsearch中,但是挑战在于删除操作./p> Logstash配置文件 输入{jdbc {jdbc_driver_library =>"jdbc_driver_class =>"com.microsoft.sqlserver.jdbc.SQL ..
发布时间:2021-05-30 20:57:23 其他开发

logstash 的多行模式

我已经搜索了SO,当然选择了搜索引擎,但没有找到有效的解决方案. 我尝试用logstash解析多行日志文件,但没有成功. 日志文件如下: appl.log 2014-02-31 11:06:55,268-WARN主com.applicationname.commons.shop.OrderDetailsjava.lang.NullPointerException在这里一些文 ..
发布时间:2021-05-30 20:57:20 其他开发

使用Logstash从具有文件输入插件的远程计算机上读取日志文件

目前我的日志和logstash运行在同一台计算机上,因此我使用此配置(使用拉模型)读取了放置在本地计算机上的日志 输入{文件 {路径 =>"/home/桌面/Logstash输入/**/* _ log"start_position =>“开始"}} 现在,我们在另一台计算机上运行了logstash,并希望读取日志远程机器. 是否可以在配置文件的文件输入中设置IP? 编辑:我设法通 ..
发布时间:2021-05-30 20:57:09 其他开发

如何使用Logstash插件-logstash-input-http

我正在探索Logstash以接收HTTP上的输入.我已经使用以下方法安装了http插件: 插件安装logstash-input-http 安装成功.然后我尝试使用以下命令运行 logstash: logstash -e'输入{http {port => 8900}}输出{stdout {codec => ruby​​debug}}' 但是logstash终止而没有给出任何错 ..
发布时间:2021-05-30 20:57:06 其他开发

具有多个匹配项的Logstash Grok模式

我正在尝试编写一个grok表达式,该表达式将导致多个匹配项.我正在解析一条具有5个重复的相同模式的行. 我已经能够使用正则表达式创建一个简单的模式,该模式将返回多个匹配项,但是看来Grok不能那样工作.我不太了解Ruby,所以还没有真正检查过代码. 示例输入: 222444555 模式: (? \ d {3})* 我会期望这样的输出: “数字":[[" ..
发布时间:2021-05-30 20:57:02 其他开发

将Spring Boot日志直接发送到Logstash,不带文件

因此,我正在使用kubernetes和spring boot构建一个完整的云解决方案. 我的spring boot应用程序已部署到容器中,并直接在控制台上登录.由于容器是临时的,因此我也希望将日志也发送到远程logstash服务器,以便可以对其进行处理并将其发送到Elastic. 通常我会在托管我的应用程序的服务器上安装文件拍子,虽然可以,但是没有任何内置方法可以让我避免在发送文件之前 ..
发布时间:2021-05-30 20:13:34 其他开发

Logstash节拍输入“节拍协议的无效版本".

我正在编写一个kibana插件和一个logstash管道.对于我的测试,我只写了一个logstash输入: 输入{节拍{端口=>9600ssl =>错误的ssl_verify_mode =>“无";}} 但是当我尝试打开与节点的连接(上面的代码)时: invoke =(参数,id,端口,主机)=>{var fs = require('fs');console.log(`按节拍发送消息,主 ..
发布时间:2021-05-28 19:29:48 其他开发

Logstash配置:带有Base 64编码标头的http输出

我将Logstash与文件输入&Http输出到本地服务,该服务需要凭据( username:password )作为 Base64编码值发送.以下是我的Logstash配置.目前,我可以通过 headers 发送 Base 64编码值,但是我正在寻找一种方法来将String编码(可以通过环境变量通过Logstash使用)编码为 Base 64编码的字符串值.如果有人可以对此有所启发,将不胜感激. ..
发布时间:2021-05-15 18:48:25 其他开发

我希望处理所有日志文件以将Gitlab-ci Job标记为成功后,logstash以代码0退出

我正在尝试配置一个Gitlab-ci作业,该作业从生产服务器收集日志,并通过使用Logstash泊坞窗映像的作业将其发送到ElasticSearch服务器. 我知道这不是通常的方法,但是我们不允许在这些服务器上安装Logstash! 该作业运行良好,但是问题在于,一旦文件处理完成,我们就无法为Logstash指定参数以代码0退出. Gitlab-ci作业始终处于运行状态,并在达到 ..
发布时间:2021-05-11 18:51:38 其他开发

正常处理Logstash插件过滤器错误

因此,我正在为Logstash构建插件,但似乎找不到任何有关如何处理引发和/或挽救的异常的文档.到目前为止,与grok相似,我们添加了 event ["tag"] = ["_filter_error"] ,但是涉及元数据,例如堆栈跟踪,错误类型等.应该活着,还是应该忽略掉它们? 解决方案 这是一个逐案的问题,因此很难回答.但是,我将分享我们最终的做法,以便对某人有所帮助. 救援所有异 ..
发布时间:2021-05-03 20:46:07 其他开发

Logstash和Filebeat设置event.dataset值

我有一个配置,其中filebeat从某些文件中获取日志(使用自定义格式),然后将这些日志发送到logstash实例. 在logstash中,我应用了gork过滤器以拆分某些字段,然后将输出发送到我的elasticsearch实例. 管道正常运行,并且已正确加载到Elasticsearch上,但不存在任何事件数据(例如 event.dataset 或 event.module ).因此, ..
发布时间:2021-05-03 20:39:53 其他开发

Logstash是否可能将相同内容从日志文件推送到ElasticSearch

logstash 配置将日志文件设置为输入源,然后将内容发送到 ElasticSearch . input 部分如下所示 输入{文件{路径=>"/data/logs/backend.log*"start_position =>“开始"}} 然后,日志文件将按大小滚动,这意味着日志文件名首先为 backend.log ,当文件大小达到10M时,将其重命名为 backend.log.1 , ..
发布时间:2021-05-03 20:39:47 其他开发