AWS Glue无法对我的数据进行分类
我有一个html文件，其结构如下：
..
logstash-grok相关内容
Logstash配置，如果字符串包含."；
那么，让我们假设我有一个日志行的一部分，如下所示： GET /restAPI/callMethod1/8675309 get与http方法匹配，Get被提取，其余部分与URI匹配，也被提取。现在，在logstash配置中，让我们假设我想要执行如下操作. if [METHOD] == "GET" { if [URI] (CONTAINS
..
logback-LogStash-在Logback中添加属性并将其发送到Logstash
我在SpringBoot应用程序中使用Logback和Logstash。 在logback.xml中，我有一个带有服务名称的属性，如下所示：
..
Logstash:跨事件保持价值
我有一个在每个日志文件中只出现一次的日期，我试图在匹配一次后将此日期添加到所有后续事件中，使其在某些方面表现得像一个全局变量.(日期在文档顶部，我无法使用 multiline 或更改文件名或内容) 为此，我的方法是使用带有 drop => 的 grep 过滤器.错误. grok {patterns_dir =>“[...]"匹配 =>[ "消息", "%{DATELINE}" ]tag_o
..
如何处理不匹配的 Logstash grok 过滤器
我想知道使用我的 Logstash Grok 过滤器的最佳方法是什么.我有一些用于特定日志条目的过滤器，不会应用于所有条目.不适用的总是生成 _grokparsefailure 标签.例如，我有一个适用于每个日志条目的 grok 过滤器，它运行良好.然后我有另一个过滤器，用于带有回溯的错误消息.回溯过滤器会为每个没有回溯的日志条目抛出 grokparsefailure. 如果没有匹配项，我宁
..
Logstash grok 过滤器来标记接收和退回的消息
Sthg 让我发疯了，我想解析 Postfix 日志以了解电子邮件的状态，这是我目前尝试的方法: 输入{文件{路径=>“/var/log/mail.log"}}筛选 {千伏{修剪 =>“"}if [message] =~/[ "status=bounced" ]/{神通{patterns_dir =>“/etc/logstash/patterns"匹配 =>{“消息"=>"%{SYSLOGB
..
如何从文本文件行解析 logstash/grok 中的 json?
我有一个看起来像这样的日志文件(简化) Logline 示例 MyLine data={"firstname":"bob","lastname":"the builder"} 我想提取 data 中包含的 json 并创建两个字段，一个用于名字，一个用于最后.但是，我得到的输出是这样的: {"message":"Line data={\"firstname\":\"bob\",\"la
..
将字符串的默认映射更改为“未分析"在 Elasticsearch 中
在我的系统中，数据的插入总是通过logstash通过csv文件完成.我从不预先定义映射.但是每当我输入一个字符串时，它总是被分析，结果像hello I am Sinha 这样的条目被拆分为hello，我、am、Sinha.无论如何，我是否可以更改 elasticsearch 的默认/动态映射，以便所有字符串(无论索引如何)都被不分析?或者有没有办法在 .conf 文件中设置它?假设我的 conf
..
如何在 ApacheNifi 中使用 ExtractGrok 处理器获取多行?
我要将日志文件事件(由 LogAttribute 处理器记录)转换为 JSON. 我在此配置中使用 ExtractGrok: 模式文件中的堆栈模式是(?m).* 每个日志的格式如下: 2019-11-21 15:26:06,912 INFO [Timer-Driven Process Thread-4] org.apache.nifi.processors.standard.L
..
使用 Grok 为 Logstash 解析 Apache2 错误日志
我正在尝试解析我的 apache2 错误日志，但遇到了一些麻烦.它似乎与过滤器不匹配.我很确定时间戳是错误的，但我不确定，我真的找不到任何文档来弄清楚.另外，有没有办法将 fields.errmsg 中的内容发送给我 @message? 日志 [Wed Jun 26 22:13:22 2013] [error] [client 10.10.10.100] PHP 致命错误:未捕获的异常 '
..
Grok模式匹配电子邮件地址
我在模式文件中定义了以下Grok模式 HOSTNAME \ b(?:[0-9A-Za-z] [0-9A-Za-z-] {0,62})(?:\.(?:[0-9A-Za-z] [0-9A-Za-z-] {0,62}))*(\.?| \ b)EMAILLOCALPART [a-zA-Z] [a-zA-Z0-9 _.+-=:] +电子邮件地址％{EMAILLOCALPART} @％{HOSTNAME}
..
在日志文件GROK模式中容纳不确定数量的空间
这可能是一个简单的问题，但是在我的日志中，不同字段之间的空格是不确定的，这意味着在某些日志中，我可以看到两个空格，而在相同字段之间则可以看到三个空格.我们如何在GROK中容纳这个? 解决方案 您可以在grok模式中使用％{SPACE} * 来匹配非标准的空格数.即使没有空格，它也会匹配.
..
logstash grok filter-grok解析失败
我有多行自定义日志，我正在通过filebeat multiline关键字将其作为一行处理.现在，每行的末尾都包含\ n.但是，这会导致我的logstsash配置文件中的grok解析失败.有人可以帮我这个忙吗?这是所有人的样子: 请使用grok过滤器帮助我以下行: 11/18/2016 3:05:50 AM:\ n引发的错误是:\ nEmpty排队\ n ****************
..
具有多个匹配项的Logstash Grok模式
我正在尝试编写一个grok表达式，该表达式将导致多个匹配项.我正在解析一条具有5个重复的相同模式的行. 我已经能够使用正则表达式创建一个简单的模式，该模式将返回多个匹配项，但是看来Grok不能那样工作.我不太了解Ruby，所以还没有真正检查过代码. 示例输入: 222444555 模式: (? \ d {3})* 我会期望这样的输出: “数字":[["
..
Logstash配置:带有Base 64编码标头的http输出
我将Logstash与文件输入&Http输出到本地服务，该服务需要凭据( username:password )作为 Base64编码值发送.以下是我的Logstash配置.目前，我可以通过 headers 发送 Base 64编码值，但是我正在寻找一种方法来将String编码(可以通过环境变量通过Logstash使用)编码为 Base 64编码的字符串值.如果有人可以对此有所启发，将不胜感激.
..
Nginx grok模式的logstash
以下是我的 Nginx日志格式 log_format timed_combined'$ http_x_forwarded_for-$ remote_user[$ time_local]''"$ request" $ status $ body_bytes_sent''"$ http_referer""$ http_user_agent"''$ request_time $ upstream_
..
如何在logstash中设置日期字段的特定日期?
当我给 + EEEE 添加字段时，我的数据中有一个日期字段，其配置为 2019-07-26T16:04:56.853Z >，它给出了时间戳记的日期，但没有给出所需的输出. add_field =>{"[工作日]" =>“％{+ EEEEE}"} 我需要将 2019-07-26T16:04:56.853Z 的date字段的输出指定为星期五，但要提供时间戳记的日期. 解决方案 假设您在
..
从Logstash中的AWS S3输入路径提取字段
是否可以根据存储段路径添加字段/标签?我尝试使用grok，但是没有用. 解决方案 使用Logstash 6.0.1，您将能够从S3获取每个文件的密钥(或路径). 示例: 输入{s3 {桶=>“"前缀=>“"}}筛选 {变异{add_field =>{“文件" =>“％{[@ metadata] [s3] [key]}"}}...} 参考: :
..
Logstash解析来自两个不同文件拍输入的数据
我有一台机器上设置了Elasticsearch和Logstash，并通过Filebeat从另一台机器上发送了日志.我想添加一台新机器，可以从中将日志发送到Logstash，对其进行解析并存储在相同的Elasticsearch索引中. 我试图用相同的Logstash输出在新计算机上配置filebeat，但似乎logstash无法从多个来源接收数据... logstash配置文件:
..
如何在ApacheNifi中使用ExtractGrok处理器获取多行?
我打算将日志文件事件(由LogAttribute处理器记录)转换为JSON. 我在此配置中使用"ExtractGroke": 模式文件中的STACK模式为(?m).* 每个日志具有以下格式: 2019-11-21 15:26:06,912 INFO [Timer-Driven Process Thread-4] org.apache.nifi.processors.standar
..