logstash相关内容
我第一次使用Logstash.我在Windows 10上我尝试从这样的input/文件夹访问多行json文件: 输入{文件{编解码器=>多行{模式=>'^/{'否定=>真的什么=>以前的}路径 =>"/input/*.json"排除=>"* .gz"}}筛选{变异{替换=>["message",“%{message}"]]gsub =>['message','\ n','']}如果[消息] =〜
..
我有Elastic Beats(例如metricbeat和auditbeat),它们可以将数据发送到logstash.为了进行测试,我想模拟一些节拍到logstash输入的数据. 我在beats(yaml配置文件)中使用logstash输出插件: output.logstash:已启用:true主机:["127.0.0.1:5044"] 和logstash(.conf管道配置文件)中
..
我已经在CentOS7 VM上安装了ELK堆栈版本7.0.0,并且在Logstash服务启动期间遇到问题: [错误] 2019-05-13 08:21:37.359 [Converge PipelineAction :: Create]代理-无法执行操作{:action => LogStash :: PipelineAction :: Create/pipeline_id:main,:exc
..
我已阅读到可以为这样的索引分配动态名称: elasticsearch {群集=>"logstash"索引=>"logstash-%{clientid}-%{+ YYYY.MM.dd}"} 我想知道的是是否还可以动态分配模板: elasticsearch {群集=>"logstash"模板=>"/etc/logstash/conf.d/%{clientid}-template.json"
..
每当插入或更新新行时,我都会使用下面的Logstash配置在其中进行增量索引编制,我能够从MSSQL服务器获取那些特定的行并将其作为文档插入Elasticsearch中,但是挑战在于删除操作./p> Logstash配置文件 输入{jdbc {jdbc_driver_library =>"jdbc_driver_class =>"com.microsoft.sqlserver.jdbc.SQL
..
我已经搜索了SO,当然选择了搜索引擎,但没有找到有效的解决方案. 我尝试用logstash解析多行日志文件,但没有成功. 日志文件如下: appl.log 2014-02-31 11:06:55,268-WARN主com.applicationname.commons.shop.OrderDetailsjava.lang.NullPointerException在这里一些文
..
目前我的日志和logstash运行在同一台计算机上,因此我使用此配置(使用拉模型)读取了放置在本地计算机上的日志 输入{文件 {路径 =>"/home/桌面/Logstash输入/**/* _ log"start_position =>“开始"}} 现在,我们在另一台计算机上运行了logstash,并希望读取日志远程机器. 是否可以在配置文件的文件输入中设置IP? 编辑:我设法通
..
我正在探索Logstash以接收HTTP上的输入.我已经使用以下方法安装了http插件: 插件安装logstash-input-http 安装成功.然后我尝试使用以下命令运行 logstash: logstash -e'输入{http {port => 8900}}输出{stdout {codec => rubydebug}}' 但是logstash终止而没有给出任何错
..
我正在尝试编写一个grok表达式,该表达式将导致多个匹配项.我正在解析一条具有5个重复的相同模式的行. 我已经能够使用正则表达式创建一个简单的模式,该模式将返回多个匹配项,但是看来Grok不能那样工作.我不太了解Ruby,所以还没有真正检查过代码. 示例输入: 222444555 模式: (? \ d {3})* 我会期望这样的输出: “数字":[["
..
因此,我正在使用kubernetes和spring boot构建一个完整的云解决方案. 我的spring boot应用程序已部署到容器中,并直接在控制台上登录.由于容器是临时的,因此我也希望将日志也发送到远程logstash服务器,以便可以对其进行处理并将其发送到Elastic. 通常我会在托管我的应用程序的服务器上安装文件拍子,虽然可以,但是没有任何内置方法可以让我避免在发送文件之前
..
我正在编写一个kibana插件和一个logstash管道.对于我的测试,我只写了一个logstash输入: 输入{节拍{端口=>9600ssl =>错误的ssl_verify_mode =>“无";}} 但是当我尝试打开与节点的连接(上面的代码)时: invoke =(参数,id,端口,主机)=>{var fs = require('fs');console.log(`按节拍发送消息,主
..
我将Logstash与文件输入&Http输出到本地服务,该服务需要凭据( username:password )作为 Base64编码值发送.以下是我的Logstash配置.目前,我可以通过 headers 发送 Base 64编码值,但是我正在寻找一种方法来将String编码(可以通过环境变量通过Logstash使用)编码为 Base 64编码的字符串值.如果有人可以对此有所启发,将不胜感激.
..
我正在尝试配置一个Gitlab-ci作业,该作业从生产服务器收集日志,并通过使用Logstash泊坞窗映像的作业将其发送到ElasticSearch服务器. 我知道这不是通常的方法,但是我们不允许在这些服务器上安装Logstash! 该作业运行良好,但是问题在于,一旦文件处理完成,我们就无法为Logstash指定参数以代码0退出. Gitlab-ci作业始终处于运行状态,并在达到
..
因此,我正在为Logstash构建插件,但似乎找不到任何有关如何处理引发和/或挽救的异常的文档.到目前为止,与grok相似,我们添加了 event ["tag"] = ["_filter_error"] ,但是涉及元数据,例如堆栈跟踪,错误类型等.应该活着,还是应该忽略掉它们? 解决方案 这是一个逐案的问题,因此很难回答.但是,我将分享我们最终的做法,以便对某人有所帮助. 救援所有异
..
我正在运行 ELK堆栈的此实现,这非常简单明了配置. 我可以使用netcat将TCP输入推入堆栈,如下所示: nc localhost 5000
..
按如下所示进行设置 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.deb须藤dpkg -i logstash-6.6.2.debsudo systemctl启用logstash.servicesudo systemctl启动logstash.service 并且我添加了如下的管道脚本 输入{文件 {
..
以下是我的 Nginx日志格式 log_format timed_combined'$ http_x_forwarded_for-$ remote_user[$ time_local]''"$ request" $ status $ body_bytes_sent''"$ http_referer""$ http_user_agent"''$ request_time $ upstream_
..
我正在使用mysql数据库中包含的数据的logstash发送elasticsearch. 但是每次运行logstash时,文档数保持不变,但是索引大小会增加. 首次运行计数:333 | 字节大小:206kb 立即计数:333 | 大小(以字节为单位):1.6MB 输入{jdbc {jdbc_connection_string =>"jdbc:mysql://***rds.ama
..
我有一个配置,其中filebeat从某些文件中获取日志(使用自定义格式),然后将这些日志发送到logstash实例. 在logstash中,我应用了gork过滤器以拆分某些字段,然后将输出发送到我的elasticsearch实例. 管道正常运行,并且已正确加载到Elasticsearch上,但不存在任何事件数据(例如 event.dataset 或 event.module ).因此,
..
logstash 配置将日志文件设置为输入源,然后将内容发送到 ElasticSearch . input 部分如下所示 输入{文件{路径=>"/data/logs/backend.log*"start_position =>“开始"}} 然后,日志文件将按大小滚动,这意味着日志文件名首先为 backend.log ,当文件大小达到10M时,将其重命名为 backend.log.1 ,
..