如何使用Logstash&设置内容类型rabbitmq输出?
我想用logstash解析日志，并通过rabbitmq发送结果.使用这些结果的应用程序正在等待content_type设置为"application/json"的消息.目前，我的消息没有任何属性，我的应用程序无法处理该消息. 您能告诉我logstash如何将属性"content_type"设置为"application/json"的消息发送到rabbitmq吗? 预先感谢&最好的问候，
..
logstash相关内容
Logstash Grok过滤器每次匹配获取多个值
我有一台服务器，它以自定义日志格式将访问日志发送到logstash，并正在使用logstash过滤这些日志并将其发送到Elastisearch. 日志行看起来像这样: 0.0.0.0 - GET / 200 - 29771 3 ms ELB-HealthChecker/1.0\n 并使用此grok过滤器进行解析: grok { match => [ "messa
..
使用时间表时Elasticsearch/Logstash复制输出
我将Elasticsearch与Logstash结合使用. 我想在数据库更改时更新索引.因此，我决定使用LS schedule .但是每隔1分钟输出将附加到数据库表记录中. 示例:合同表有2行. 前1分钟总计:2，总输出后1分钟是:4； 我该如何解决? 有我的配置文件.命令是 bin/logstash -f contract.conf input { jdbc {
..
如何处理Logstash中的空白字段
我面临Logstash KV过滤器的问题: 下面是示例事件: 2016-08-15T12:43:04.478Z 103.240.35.216 date=2016-08-15 time=18:13:16 timezone="IST" device_name="CR25iNG" device_id=C2222-123 log_id=010302602002 log_type="F
..
我的日志文件中几行中的结构不同
我的日志文件在几行中包含不同的结构，我无法理解它，我不知道我们是否可以按行或属性进行测试，我仍然是一个初学者. 如果您不了解我，我可以举几个例子: 输入: id=firewall action=bloc type=web id=firewall fw="ER" type=filter id=firewall fw="Az" tz="loo" action=bloc 模式: i
..
没有年份和秒信息的Nginx日志
我有Nginx作为负载平衡器，它生成的日志中没有年份和秒信息.这些日志之一是 08-10 09:28 root ERROR Error connecting to CRS REST API : [Errno 111] Connection refused Error connecting to CRS REST API : [Errno 111] Connection
..
动态模板不能短时，字节&漂浮
我正在尝试创建一个模板，在我的模板中，我试图实现动态映射. 这就是我写的内容，如 6.2.1 一样，系统会自动检测到唯一的布尔值，日期，双精度型，长型，对象，字符串，这对于映射float，short和amp;字节. 如果我在其中索引 127 ，它将被从 short_fields 映射到 short ，这很好，但是当我索引一些325566时，我收到的异常数值数值(325566)超出了Ja
..
logstash:错误，无法检索cgroup信息
我正在尝试使用特定的配置文件运行logstash: $ /usr/share/logstash/bin/logstash --debug -f $HOME/conf.d/conf2.conf --path.settings /etc/logstash 我收到此错误: [2018-06-26T15:00:41,046][DEBUG][logstash.pipeline
..
Grok自定义模式中的Lookahead和Lookbehind语法
我正在尝试在Grok自定义模式中使用后向和前瞻，并在无法解决的Grok调试器中获取模式匹配错误. 这是用于归档系统日志.我目前正在尝试解析postgrey应用程序. 给出如下数据: 2019-04-09T11:41:31-05:00 67.157.192.7 postgrey: action=pass, reason=triplet found, delay=388, clien
..
使用红宝石过滤器将历元时间转换为Logstash中的日期
我的配置中有一个字段名称"timestamp".它以纪元时间(毫秒)保存数据数组.我想使用Ruby过滤器转换数组中的每个纪元时间，并将其转换为Kibana消耗的Date格式.我正在尝试转换每个日期字段并以数组形式存储在新字段中.我收到语法错误.谁能帮我吗 ?我是Ruby的新手. ruby { code => {' event.get("timestamp").each do |x| {
..
从SQL Server提取增量数据时出现Logstash异常
我正在使用LogStash 7.3.2使用以下查询从SQL Server中获取增量数据: select * from mytable where lastupdatetimestamp > :sql_last_value 我还已经在logstash配置文件中指定了last_run_metadata_path. 它工作正常，但有时会抛出异常:- 执行JDBC查询时出现异常{:e
..
从Lostash的beats.config中的filebeat自定义日志
我正在将ELK与filebeat一起使用.我正在将日志从filebeat发送到Logstash，再从那里发送到Elastic，并在Kibana中进行可视化. 我要粘贴在kibana的日志结果中显示的json结果，如下所示: { "_index": "filebeat-6.4.2-2018.10.30", "_type": "doc", "_source": { "
..
查询多个单词时，通配符无法正常工作
如果我在“邮件"字段中搜索包含例如“被叫"的文档，则会得到预期的结果，但是当我搜索“被叫"，“被叫*"或 "*was called*" 我什么也没得到，尽管我有很多文档，其消息字段包含以下内容"REST API调用了应用程序". 这是我发送的查询的一部分: "wildcard": { "message": { "wildcard": "was call
..
logstash解析日志字段
我正在尝试从Postfix日志中解析@message字段并将其提取到多个字段中. 消息: Sep 17 19:12:14 postfix/smtp[18852]: 28D40A036B: to=, relay=192.244.100.25[192.244.100.25]:25, delay=0.13, delays=0.01/0.01/0.09/
..
发送给Elasticsearch之前，请向字段添加额外的值
我正在使用logstash，filebeat和grok将数据从日志发送到我的elastisearch实例.这是管道中的grok配置 filter { grok { match => { "message" => "%{SYSLOGTIMESTAMP:messageDate} %{GREEDYDATA:messagge}" }
..
Logstash是否支持Elasticsearch的_update_by_query?
Elasticsearch输出插件是否支持elasticsearch的_update_by_query? https://www.elastic.co/guide/zh/logstash/6.5/plugins-outputs-elasticsearch.html https://www.elastic. co/guide/zh-CN/elasticsearch/reference/current
..
使用Filebeat传输CSV文件
案例 从客户端PC推送csv文件到服务器端的弹性文件 松紧带已经安装好了.我可以从我的电脑访问它并使用演示数据.现在，我想学习如何使用自己的数据进行推送.我已经从kaggle准备了数据. 客户端 我已经在客户端下载了文件拍并提取了它. 我已将filebeat.yml编辑为 filebeat.inputs: - input_type: log paths:
..
有没有一种方法可以使用Logstash将两个不同数据源(即Mysql和Postgres SQL)的数据库连接起来并对其进行索引以进行弹性搜索?
我对ELK还是很陌生，想知道是否有一种方法可以将来自不同来源(例如MYSQL和Postgres)的两个数据库联接起来，并在使用logstash的Elasticsearch中将其索引到单个索引. 因为我能够在pyspark的帮助下实现相同的目标.但是如果可能的话，我想使用日志存储实现相同的目的！ 此外，请提出一些其他可行的方法来实现相同的目标，而不是火花和对数. 预先感谢！
..
根据logstash中的模式将字符串转换为数组
我的原始数据. { message: { data: "["1,2","3,4","5,6"]" } } 现在我想将数据字段的值转换为数组. 所以它应该变成: { message: { data: ["1,2", "3,4", "5,6"] } } 通过 mutate { gsub => ["data", "[\[\]]",
..
Logstash:根据某些条件重命名嵌套字段
我试图在迁移到Amazonelasticsearch时重命名Elasticsearch中的嵌套字段 在文档中，我想更改 1.如果 value 字段具有JSON类型.将值字段更改为值关键字，并删除"value-whitespace"和"value-standard"(如果存在) 2.如果value字段的大小大于15.将 value 字段更改为 value-standard
..