如何在 ApacheNifi 中使用 ExtractGrok 处理器获取多行?
我要将日志文件事件(由 LogAttribute 处理器记录)转换为 JSON. 我在此配置中使用 ExtractGrok: 模式文件中的堆栈模式是(?m).* 每个日志的格式如下: 2019-11-21 15:26:06,912 INFO [Timer-Driven Process Thread-4] org.apache.nifi.processors.standard.L
..
grok相关内容
Telegraf 尾部带有 grok 模式错误
我正在使用 Telegraf 从 Apache NiFi 获取日志信息，对于此任务，我正在使用此配置: [[inputs.tail]]##文件拖尾.文件 = ["/var/log/nifi/nifi-app.log"]## 从头读取文件.from_beginning = 真#name_override = "nifi_app"## https://github.com/influxdata/te
..
Grok模式匹配电子邮件地址
我在模式文件中定义了以下Grok模式 HOSTNAME \ b(?:[0-9A-Za-z] [0-9A-Za-z-] {0,62})(?:\.(?:[0-9A-Za-z] [0-9A-Za-z-] {0,62}))*(\.?| \ b)EMAILLOCALPART [a-zA-Z] [a-zA-Z0-9 _.+-=:] +电子邮件地址％{EMAILLOCALPART} @％{HOSTNAME}
..
Logstash配置:带有Base 64编码标头的http输出
我将Logstash与文件输入&Http输出到本地服务，该服务需要凭据( username:password )作为 Base64编码值发送.以下是我的Logstash配置.目前，我可以通过 headers 发送 Base 64编码值，但是我正在寻找一种方法来将String编码(可以通过环境变量通过Logstash使用)编码为 Base 64编码的字符串值.如果有人可以对此有所启发，将不胜感激.
..
使用字段作为Logstash Grok过滤器模式的输入
我想知道是否可以使用Logstash消息中的字段作为Grok模式的输入.假设我有一个看起来像这样的条目: { "message":"10.1.1.1", "grok_filter":"%{IP:client}" } 我希望能够做这样的事情: filter { grok { match => ["message", ["%{grok_filter}"]]
..
Telegraf尾部带有grok模式错误
我正在使用Telegraf从Apache NiFi获取日志信息，对于此任务，我正在使用以下配置: [[inputs.tail]] ## files to tail. files = ["/var/log/nifi/nifi-app.log"] ## Read file from beginning. from_beginning = true #name_override
..
如何在ApacheNifi中使用ExtractGrok处理器获取多行?
我打算将日志文件事件(由LogAttribute处理器记录)转换为JSON. 我在此配置中使用"ExtractGroke": 模式文件中的STACK模式为(?m).* 每个日志具有以下格式: 2019-11-21 15:26:06,912 INFO [Timer-Driven Process Thread-4] org.apache.nifi.processors.standar
..
如何基于随机字段Logstash管理多行事件
我最近遇到了与多行事件有关的问题，为此，我需要您的一点帮助.我的系统日志服务器正在发送多行事件.一个事件收集多行，并且证明特定事件行是多行事件的一部分的指标是定义用户连接会话的随机数.这是一个自定义生成的日志文件: Feb 16 17:29:04 slot1/APM-LTM notice apd[5515]: 01490010:5: 1ec2b273:Username 'cjones' F
..
Grok中的正则表达式有时会获取值，有时却无法
我在grok中有一个代码，该代码可以捕获消息，并且如果它们符合给定的条件，则它们会得到一个标签. 我的问题是，有时此过滤器在测试时有效，有时却无效.有问题的正则表达式如下: ^(?!(?:\d\d\d\d-\d\d-\d\d.\d\d:\d\d:\d\d)).*$ 此行检查给定消息是否不是以给定时间戳记格式开头.换句话说:如果给定的消息不是以该时间戳记开头的，那么它将获得一个标签.
..
根据文件拍数据将字段添加到logstash
因此，我有一个由filebeat设置的主机名(并且我编写了一个应该抓住它的正则表达式)，但是以下内容并未按照我认为的方式添加字段.. grok{ patterns_dir => "/config/patterns" match =>{ "beat.hostname" => ["%{INSTALLATION}-%{DOMAIN}-%{SERVICE}"] } add_field
..
我的日志文件中几行中的结构不同
我的日志文件在几行中包含不同的结构，我无法理解它，我不知道我们是否可以按行或属性进行测试，我仍然是一个初学者. 如果您不了解我，我可以举几个例子: 输入: id=firewall action=bloc type=web id=firewall fw="ER" type=filter id=firewall fw="Az" tz="loo" action=bloc 模式: i
..
解析错误"_grokparsefailure"；在LogStash中
首先，我在syslog中显示了Kibana中的日志，并且工作正常.我根据文档进行了设置. 现在，我更改了日志的来源，现在它可以从我的Web应用程序中检索日志，尽管Kibana仍然可以正确显示它们，但是现在存在标签"_grokparsefailure"，这意味着在解析日志时出错日志. 我当前使用的过滤器: filter { if [type] == "syslog" {
..
Grok解析多行消息时解析错误
我试图找出grok模式来解析多个消息，例如异常跟踪&下面是一个这样的日志 2017-03-30 14:57:41 [12345] [qtp1533780180-12]错误com。 app.XYZ - 处理 时发生异常java.lang.NullPointerException：null 在spark.webserver.MatcherFilter.doFilter（MatcherFil
..
如何处理不匹配的Logstash grok过滤器
我想知道什么是我的Logstash Grok过滤器最好的方法。我有一些针对特定日志条目的过滤器，并不适用于所有条目。不适用的总是生成_grokparsefailure标签。例如，我有一个grok过滤器是每个日志条目，它工作正常。然后我有另一个过滤器是用于回溯错误消息。回溯过滤器为每个没有回溯的日志条目抛出一个grokparsefailure。 如果不存在，我宁愿让它通过规则一个匹配而不是添加
..
Logstash日期无效格式
尝试从rsylog服务器解析日志并将其插入弹性搜索。 我传入的日志行是 Feb 13 01:17:11 xxxx xxx-xxxx_error 2016/02/13 01:17:02 [error] 13689＃0：* 1956118 open（）“xxxxxx”失败（2：没有这样的文件或目录），客户端：xx.xx.xx.xx，server：xxxxx.xx，请求：“xxxxxxx
..
如何在同一个文件中使用Logstash处理多个输入？
假设您的日志防火墙文件中有3条不同的行，并且您希望： ，将结果存储到弹性搜索集群中，使用专用弹性搜索输出。 我在logstash.conf中应该怎么做？ 谢谢。 解决方案 我可以分享一些更具体的例子。 选项1）我们的Fortigate的日志是类似的，相关的grok过滤器如下所示： grok { match => [ “message”，“％{FORTIGA
..
Logstash：如何在文件名中使用日期/时间作为导入的字段
我有一堆名为“XXXXXX_XX_yymmdd_hh：mm：ss.txt”的日志文件 - 我需要在添加到Logstash的字段中包含文件名中的日期和时间（单独的字段）。 任何人都可以帮忙？ 谢谢 解决方案 使用 grok过滤器来提取日期和时间： filter { grok { match => [ “path”， “^％{GREEDYDATA} / [^ /] +
..
Logstash：将复制的多行JSON从日志文件解析为ElasticSearch
我先说说，我已经经历了很多这方面的例子，尽管如此，这些例子还是不行。我不知道是不是因为日志文件中JSON的复杂性质。 我正在寻找示例日志条目，让Logstash读取它并将JSON作为JSON发送到ElasticSearch。 以下是（缩略）示例： 0m [0m16：02：08,685 INFO [org.jboss.as.server]（ServerService Thread
..
在logstash中用grok解析多行JSON
我有一个JSON格式： { “SOURCE”：“源A” ， “Model”：“ModelABC”， “Qty”：“3” } 我试图使用logstash解析这个JSON。基本上我希望logstash输出是一个可以使用kibana分析的key：值对的列表。我以为这可以开箱即可。从很多阅读，我明白我必须使用Grok插件（我仍然不知道json插件是什么）。但是我无法得到所有领域的
..
如何从文本文件行中的logstash / grok中解析json？
我有一个这样的日志文件（简化） Logline示例 MyLine data = {“firstname”：“bob”，“lastname”：“生成器”} 我想提取数据中包含的json，并创建两个字段，一个用于名字，一个用于最后一个。但是，我得到的输出是： {“message”：“行数据= {\”firstname\“ ：\“bob\”，\“lastname\”：\“bui
..