elastic-stack相关内容

连接docker-compose的两个实例

我有一个使用docker-compose运行的服务的dockerized应用程序。我想使用另一个docker-compose应用程序 docker将这个应用程序与ElasticSearch / Logstash / Kibana(ELK)连接-elk 。它们都在开发中的同一台docker机器上运行。在生产中,情况可能并非如此。 如何配置应用程序的 docker-compose.yml 链接到 ..
发布时间:2020-10-24 22:32:19 其他开发

添加节点以创建本地集群Elasticsearch [7.8]

我正在学习Elastic Search(v7.8),所以我做了一个本地集群来对其进行测试。 我使用Ubuntu 18在3个虚拟机上创建了3个虚拟机,资源相同,并且在相同的网络中使用了IP: 192.168.1.77 192.168.1.76 192.168.1.75 所有正确的单个安装,每个响应她的API: curl -XGET localhost:9200 /?pret ..

Elasticsearch"match_phrase"查询和“模糊"查询-可以结合使用

我需要使用match_phrase和模糊匹配的查询.但是我找不到任何文档来构造这样的查询.另外,当我尝试组合查询(一个在另一个)时,它会引发错误.可以构造这样的查询吗? 解决方案 您需要使用以下查询将对champions league进行词组匹配+模糊查询,例如在类型为text 的示例字段name上 如果您想要多个字段,请添加另一个must子句. 注意我已经提到了slop:0和i ..
发布时间:2020-06-13 19:06:26 其他开发

如何从ElasticSearch绝对删除某些内容?

我们使用ELK堆栈进行日志记录.我被要求设计一个流程,以解决如何删除意外记录的敏感信息. 现在基于我对ElasticSearch(Lucene)如何处理删除内容的了解并更新,数据仍然在索引中,只是不可用.最终将随着索引的合并而被清理,等等. 是否存在运行更新(以编辑某些内容)或删除(以删除某些内容)并保证将其删除的过程? 解决方案 在更新或删除某些值时,ES会将当前文档标记为已 ..
发布时间:2020-05-04 07:49:21 其他开发

使用单个logstash过滤器从Elasticsearch的多个事件中提取数据

我在ElasticSearch中加载了日志行,该日志行的数据分散在多个事件中,比如说event_id位于事件(第5行)中,event_action位于事件编号88中,更多的event_port信息位于事件编号455中.我提取此数据,以便我的输出如下所示.在这种情况下,多行编解码器将无法工作. { event_id: 1223 event_action: "socket_open" event ..

Logstash筛选器:聚合-超时自动保存

我在AWS中有一个Lambda函数,该函数将日志报告给ELK实例. lambda函数的每次调用都会生成一个唯一的invocation_id,该invocation_id与每个日志事件一起发送,因此可以在ELK中标识来自单个调用的事件.在操作结束时,我发送了一个“完成"事件. Lambda函数可能会失败或超时,然后不会发送“完成"事件. 我想使用 logstash聚合过滤器识别失败的调用 ..
发布时间:2020-05-04 03:38:12 其他开发

使用Filebeat传输CSV文件

案例 从客户端PC推送csv文件到服务器端的弹性文件 松紧带已经安装好了.我可以从我的电脑访问它并使用演示数据.现在,我想学习如何使用自己的数据进行推送.我已经从kaggle准备了数据. 客户端 我已经在客户端下载了文件拍并提取了它. 我已将filebeat.yml编辑为 filebeat.inputs: - input_type: log paths: ..
发布时间:2020-05-04 03:36:18 其他开发

如果日志包含特定单词,则忽略并移至下一个模式

我有一个来自spring日志文件的日志文件.日志文件具有三种格式.前两种格式中的每一种都是一行,如果有关键字app-info,则它们之间是单行,这是由自己的开发人员打印的消息.如果否,则由spring框架打印.我们可能会把开发者的信息与Spring框架的信息区别开来.第三种格式是多行堆栈跟踪. 我们有一个自己格式的示例,例如 2018-04-27 10:42:49 [http-nio- ..
发布时间:2020-05-04 03:35:20 其他开发

如何在Logstash中的字段中替换字符串

我有Windows事件日志中的IP地址字段,该IP地址字段的IP地址前面包含诸如":: fffff:"之类的字符.我无法在此处更改源,因此必须在Logstash中进行修复. 我一定很喜欢谷歌搜索,但是我真的找不到一种简单的方法来从logstash的ip-address字段中剥离这些字符. 我尝试过 if ("" in [event_data][IpAddress]) { ..
发布时间:2020-05-04 03:34:19 其他开发