elk相关内容

用于全局变化子索引模式的Logstash配置

我有一个ELK堆栈,带有一些已配置的索引模式。作为内部需求的一部分,我需要将一个json对象(它是该索引模式的一部分)全局编辑为";string";。 到目前为止,这样的json对象是由许多子字段随机填充的,比如";date";、";temps";以及更多的子字段。 所有这些都由ELK自动管理,但我需要将它们全部处理并转换(强制转换)为&q;字符串& ..
发布时间:2022-02-27 13:39:19 其他开发

Elasticsearch 放置角色 API

我开始使用创建角色 API,它按预期工作:https://www.elastic.co/guide/en/elasticsearch/reference/current/security-api-put-role.html 我得到了 elasticsearch 中的默认角色列表,/_security/role,但我不知道创建以下角色并且无法找到合适的文档. 我想根据以下需求对用户进行隔 ..
发布时间:2021-12-13 12:24:43 其他开发

在 elasticsearch 中删除超过 10 天的数据

我是 elasticsearch 的新手,我想删除我的 elasticsearch 索引中超过 10 天的文档.我只想保留最近 10 天的数据.所以有什么办法可以自动删除最后 11 天的索引.我尝试过的.. 删除logstash-*/_query{“询问": {“范围": {“@timestamp":{"lte": "now-10d"}}}} 我在 kibana 开发工具上运行时遇到的错误 ..
发布时间:2021-12-13 12:12:08 其他开发

如何将 ElasticSearch 与 MySQL 集成?

在我的一个项目中,我计划将 ElasticSearch 与 MySQL 结合使用.我已经成功安装了 ElasticSearch.我可以单独管理 ES 中的索引.但我不知道如何在 MySQL 中实现相同的功能. 我已经阅读了一些文档,但我有点困惑,没有一个清晰的想法. 解决方案 我终于找到了答案.分享我的发现. 要在 Mysql 中使用 ElasticSearch,您需要 Jav ..
发布时间:2021-12-13 11:29:32 数据库

将Spring Boot日志直接发送到Logstash,不带文件

因此,我正在使用kubernetes和spring boot构建一个完整的云解决方案. 我的spring boot应用程序已部署到容器中,并直接在控制台上登录.由于容器是临时的,因此我也希望将日志也发送到远程logstash服务器,以便可以对其进行处理并将其发送到Elastic. 通常我会在托管我的应用程序的服务器上安装文件拍子,虽然可以,但是没有任何内置方法可以让我避免在发送文件之前 ..
发布时间:2021-05-30 20:13:34 其他开发

Logstash节拍输入“节拍协议的无效版本".

我正在编写一个kibana插件和一个logstash管道.对于我的测试,我只写了一个logstash输入: 输入{节拍{端口=>9600ssl =>错误的ssl_verify_mode =>“无";}} 但是当我尝试打开与节点的连接(上面的代码)时: invoke =(参数,id,端口,主机)=>{var fs = require('fs');console.log(`按节拍发送消息,主 ..
发布时间:2021-05-28 19:29:48 其他开发

Logstash的流式传输行为不一致-ELK

我有一个包含几个平面字段和几个嵌套字段的索引.我正在尝试通过Logstash将SQL Server中的信息通过特定的ID通过Logstash流到嵌套字段中.当我仅流传输一个 Id ID的数据时,它就可以完全成功地通过,而不会出现任何问题.另一方面,当我尝试流式传输多个ID的数据时,由于某种原因,插入到索引中的信息是不完整的.注意:查询按ID排序.而且,在流式传输数据的不同尝试中,获得了不同数量的信 ..
发布时间:2021-05-03 20:37:56 其他开发

如何将ElasticSearch与MySQL集成?

在我的一个项目中,我计划将ElasticSearch与MySQL一起使用.我已经成功安装了ElasticSearch.我能够单独管理ES中的索引.但是我不知道如何使用MySQL来实现相同的功能. 我已经阅读了一些文档,但是我有点困惑,没有一个清晰的主意. 解决方案 最后,我找到了答案.分享我的发现. 要将ElasticSearch与Mysql一起使用,您将需要Java数据库连接 ..
发布时间:2021-05-03 20:15:20 数据库

在弹性搜索中排序聚合?

我有一个用例,我需要从Elasticsearch获取所有唯一的用户ID,并且应该按时间戳进行排序. 我目前使用的是带有子聚合的复合词聚合,它将返回最新的时间戳. (由于它会减慢脚本速度,因此我无法在客户端对其进行排序) 弹性搜索中的样本数据 {"_index":"logstash-2020.10.29","_type":"doc","_id":"L0Urc3UBttS_uoE ..
发布时间:2021-05-03 18:50:38 其他开发

桶在复合聚合中排序?

如何在复合聚合中对存储桶进行排序? 我需要使用Bucket排序进行复合聚合. 我尝试使用聚合排序.我已经尝试过复合聚合. 解决方案 我认为这个问题是您以前的作为父管道的桶排序聚合对其父多桶的桶进行排序的聚合聚合.并且请参考复合聚合以了解更多信息. 添加包含索引数据,映射,搜索查询和搜索结果的工作示例 索引映射: {“映射":{“属性":{“用户":{"type" ..
发布时间:2021-05-03 18:50:35 其他开发

Elasticsearch未分配的碎片每隔几个小时发出一次警告

我们的集群有3个Elasticsearch数据容器/3个主容器/1个客户端和1个导出器.问题是警报“由于断路异常而导致Elasticsearch未分配的碎片".您可以在以下问题 中对此进行进一步检查 现在,通过进行curl调用http://localhost:9200/_nodes/stats,我发现堆使用率是各个数据Pod的平均值. eleasticsearch-data-0、1和2的 ..

Elasticsearch基于公共字段合并多个索引

我正在使用ELK从两个不同的数据库的数据中生成视图.一种是mysql,另一种是PostgreSQL.在这两个数据库实例之间无法编写联接查询.但是我有一个通用的现场呼叫"nic".以下是每个索引的文档. MySQL 索引:user_detail "_id": "871123365V", "_source": { "type": "db-poc-user", "fna ..
发布时间:2021-02-15 18:48:01 其他开发

Elasticsearch put角色API

我开始使用创建角色API,它按预期工作:我获得了Elasticsearch中默认角色的列表,/_security/role,但是我不知道要创建以下角色,也无法为其找到合适的文档. 我想根据以下需求对用户进行隔离, 角色,该角色有权在Elastic Search中的所有索引中仅执行READ/WRITE(该角色不应具有创建/删除索引的特权 有权在基巴纳州上仅执行操作的角色 有权在Log ..
发布时间:2021-02-15 18:47:55 其他开发

Elasticsearch超过最大字段长度-Kibana中的错误

发现:[prod_logs]索引的[-CSnZmwB_xkQcDCOrP1V] doc的[message]字段的长度已超过[1000000]-允许分析突出显示的最大值。可以通过更改[index.highlight.max_analyzed_offset]索引级别设置来设置此最大值。对于大文本,建议使用偏移量或术语向量进行索引! 我在Kibana中遇到上述错误。我使用ELK版本7.2.0。 ..
发布时间:2020-10-28 18:41:58 其他开发