Grok解析多行消息时解析错误
我试图找出grok模式来解析多个消息，例如异常跟踪&下面是一个这样的日志 2017-03-30 14:57:41 [12345] [qtp1533780180-12]错误com。 app.XYZ - 处理 时发生异常java.lang.NullPointerException：null 在spark.webserver.MatcherFilter.doFilter（MatcherFil
..
elk-stack相关内容
logstash分割事件字段值并分配给@metadata字段
我有一个 logstash 事件，它有以下字段： { “_index”：“logstash-2016.08.09”， “_type”：“log”， “_id” ：“AVZvz2ix”， “_score”：null， “_source”：{ “message”：“function_name〜execute || line_no〜128 || debug_message_id未找到” ， “@
..
如何使用Express将Node.js登录到ELK？
我有一个带有Express的Node.js服务器应用程序。我想将其活动记录到ElasticSearch中，并使用Kibana可视化日志。 这样做的正确方法是什么？ 我应该写一个json行的日志文件并用Logstash读取吗？ 谢谢 解决方案 我建议 log4js 。它有一系列有用的appender，logstash是其中之一。它可以通过UDP工作。 以下是从log4
..
垂直条形图在基巴纳
我已经设置了ELK堆栈，并且以下类型的JSON正在被存储在弹性搜索中（以下JSON是从Kibana UI复制的）。 现在，我想显示垂直条形图，当“动作”等于“passthrough”时，它将具有前5名“主机名” { “_index”：“logstash-2016.06.16”， “_type”：“utm”， “_id “：”AVVaFcaB7mNsx5uOb1-_“， ”_score
..
Logstash doc_as_upsert弹性搜索中的交叉索引以消除重复
output { if [type] ==“usage”{ elasticsearch { hosts => [“elastic4：9204”] index => “usage - ％{+ YYYY-MM-dd-HH}” document_id => “％{[@ metadata] [fingerprint]}” action => “update” doc_as_upsert
..
如何在Kibana中应用条形图的阈值？
我已经经历了这个特别的门票，这几乎涉及到添加一个阈值线，到线图。 在我的情况下，我有一个条形图像这个，我需要一个门槛，让例如在上面的图表中，我应该能够显示每个栏中的差异。 换句话说，如上图所示，它显示 sum chargeamount 根据过滤器给出。我需要做的是，如果 sum chargeamount ，则使用同一个栏中的颜色显示差异大于50,000。 所以有一种方法可以显示过
..
弹性搜索映射通过模板选择所有字段以更改其数据类型Elasticsearch
嗨所有我正在使用elasticsearch-template.json来设置所有字段的数据类型为string。以下是模板的片段： { “template”：“logstash- *”， “设置”：{ “index.refresh_interval”：“5s”， “number_of_shards”：1， “number_of_replicas”：0 }， “映射“：{ ”logs“：{
..
如何将弹性搜索索引安全地移动到Linux中的另一个挂载？
在我的 Ubuntu 机器中，我有一些索引实际上导致了一些空间问题。这些指标每天都在不断增长。 所以我想把它移动到另一个装载目录，显然有更多的空间。我该如何安全地这样做？ 我必须确保现有的ES 索引和 Kibana 图在做动作之后就足够安全了。 我所做的：遵循这个 SO ，并将 Elasticsearch 的数据目录移动到目录（/ data / es_data）我需要，但在我这样
..
复合键的弹性搜索查询，如SQL
我有以下情况： 假设我有一个关系表： Key1 Key2 Key3 Value A x v1 0 A x v1 10 B x v1 5 A y v2 7 A y v2 2 这里我有（Key1，Key2，Key3）的逻辑键组合。现在我需要具有最大值的记录。所以我期望下面的结果对应于不同的逻辑键： Key1 Key2 Key3 Value
..
分析或未分析，选择什么
我只使用kibana来搜索ElasticSearch，我有几个字段只能取几个值（最坏的情况，servername，30个不同的值）。 我明白什么分析对更大，更复杂的领域像这样，但是小而简单的我不了解anaylyzed / not_analyzed字段的进步/缺点。 那么对于“有限的一组值”字段使用analyze和not_analyzed有什么好处（例如servername：server
..
来自json解析器的Logstash输出未发送到弹性搜索
这是我从另一个问题的一个跟进： JSON解析器在logstash忽略数据？ 但是这次我觉得问题比上次更清楚，可能更容易让人回答。 我正在使用JSON解析器： json #Parse所有的JSON { source => “MFD_JSON” target => “PARSED” add_field => {“％{FAMILY_ID}”=> “％{[PARSED] [pl
..
用于存储计量数据的ELK堆栈
在我们的项目中，我们使用ELK堆栈来将日志存储在一个集中的地方。但是我注意到，最近版本的ElasticSearch支持各种聚合。另外，Kibana 4支持很好的图形化方式来构建图形。即使是最近的grafana版本，现在也可以使用Elastic Search 2数据源。 所有这一切是否意味着ELK堆栈现在可用于存储系统中收集的计量信息，或者仍然不能被认为是现有解决方案的严重竞争对手：石墨，流入
..
ELK - Kibana不识别geo_point字段
我正在尝试在Kibana上创建一个Tile地图，并附有GEO的位置点。 由于某些原因，当我尝试创建地图时，我在Kibana上收到以下消息： 否兼容字段：“logs”索引模式不包含以下字段类型中的任何 ：geo_point 我的设置： Logstash（2.3.1版）： filter { grok { match => { “message”=> “MY PATTE
..
Kibana在“发现”选项卡中不显示任何结果
我已经设置了elasticsearch（1.7.3版本）和Kibana（版本4.1.2），用于索引我们的应用程序的Elmah XML文件错误。我正在使用.Net来解析xml文件和Nest ElasticSearch客户端，将索引插入到ElasticSearch中。问题是Kibana不会在“发现”选项卡中显示任何数据。 当我运行curl -XGET localhost：9200 / .kiba
..
在弹性搜索中使用query_string查询与bool导致解析异常
为什么这个查询给我一个解析异常？如果我删除bool它似乎工作。但是我需要使用query_string的bool。如何使这项工作？ { “查询”：{ “filtered”：{ “query”：{ “bool”：{ “must”：[ { “terms”：{ “status_type” “5” ] } } ] } }， “过滤器”：{ “query_string”：{ “fi
..
Logstash不能使用多个文件通配符路径
Logstash似乎没有通过通配符读取路径 这里是我的配置文件 input { 文件{ path => “C：\logs\app * .log” type => “MyType” } } 过滤器{ } 输出{ elasticsearch { } } 解决方案 我可以通过替换反斜杠来解决这个问题使用斜杠。 C：/logs/app*.log
..
将日志条目与logstash相结合
我想从dnsmasq收集和处理日志，我决定使用ELK。 Dnsmasq用作DHCP服务器和DNS解析器，因此它为这两个服务创建日志条目。 我的目标是将所有DNS查询与请求者一起发送到Elasticsearch IP，请求者主机名（如果可用）和请求者mac地址。这将允许我分配每个mac地址的请求，无论设备IP是否改变，并显示主机名。 我想做的是以下： 1）阅读以下条目： 3
..
如何在logstash中编写grok模式
我试图从logstash开始，我的应用程序有以下类型的日志。这里5表示将再追加5行，这是不同相关事项收集的统计信息。 这些基本上是应用程序统计信息，每一行都表示其中一个资源。 > 有没有办法使用logstash正确解析它，以便它可以用于弹性搜索？ [20170502 01：57：26.209 EDT（thread-name）package-name.classname＃Meth
..
查询弹性搜索JSON
我的数据从平面文件进入logstash我试图查询弹性搜索。 OrderNumber ProductName order1 Chicken order2香蕉 order3 Chicken order1黄瓜 订单2鸡 订单3苹果 订单1面粉 订单2米 订单3坚果 如上所述，我有一个鸡 的产品名称，发生在不同的订单号。 OrderNumber Produc
..
在ELK中组合日志和查询
使用ELK（Elasticsearch-Logstash-Kibana）堆栈，我将syslog日志从* nix框收集到Logstash，并通过Elasticsearch发送到Kibana。这是经典的一种情况。 我的系统日志记录包括正常的系统事件，squid访问日志，captiveportal登录日志等。 captiveportal记录为 1423548430 2582 192.16
..