elastic-stack相关内容

弹性搜索小写分析器不返回搜索结果

我有一个基于文本的索引,如下所示。我正在尝试维护基于用户输入的令牌的精确搜索和模糊搜索。虽然基于文本的搜索可以很好地工作(部分搜索),但当涉及到术语搜索时,如果大小写相同,它将返回数据。 我确实尝试添加了基于小写筛选器的分析器,但无济于事。我能在这里做些什么? 映射: "project_title": { "type": "text", "fields": { ..

ElasticSearch自动完成/按令牌建议

我要基于我的索引中存在的标记(而不是完整文档)创建搜索建议。 例如: 我有一个简单的电影索引,其中包含以下两个文档: {"name":"Captain America"} {"name":"American Made"} 如果我键入名称,我应该会得到两个建议(作为令牌) america american 同样,如果我键入&Cap,则我应该得到&q;船长&,而不是& ..
发布时间:2022-05-09 12:20:51 其他开发

如何将自定义摄取管道与坞站自动发现结合使用

我很难将定制的Elasticearch接收管道与FileBeat的Docker自动发现结合使用。我从filebeat.yml文件中的自定义处理器开始,但我更愿意将其转换为我创建的自定义接收管道。 首先,以下是我使用定制处理器的配置,该处理器为我的Servarrapp Docker容器(通过在我的docker-compose.yml文件中为它们应用标签来标识)提供定制的类似Grok的处理。处理器将 ..
发布时间:2022-05-09 12:06:39 其他开发

如何限制Elasticearch文档中的某个字段更新?

我有一个ElasticSearch索引,我正在将文档保存到该索引中。 当我尝试使用某个字段的新值/更新值再次索引/保存同一文档(具有ame_id)时,有没有什么方法, ElasticSearch应引发异常, 仅当该特定字段是我们要尝试更新的字段时?对于其他字段,它可以作为默认行为工作。 对于Ex:我有如下索引映射 PUT /_index_template/example_tem ..
发布时间:2022-05-09 12:01:33 其他开发

如何创建弹性搜索时间点(PIT)?

我尝试使用带有时间点(PIT)的SEARCH_AFTER参数来对搜索结果进行分页。This是我正在咨询的文档部分。 我正在向/my-index/_pit?keep_alive=1m发帖。 /_pit端点只接受POST方法(如果我尝试GET,它说只接受POST),并且根据文档,不接受请求正文。然而,我收到的回复是400,并显示以下消息: &Quot;类型&Quot;:";par ..
发布时间:2022-05-09 11:56:59 其他开发

正在将文件节拍连接到Kibana

我正在尝试在服务器上设置fileBeat,然后在Elastic Stack Docker容器设置上运行安装程序。但目前,无论我做什么尝试,都没有办法让它正常工作。无论是否使用https,我都会收到以下错误: 2019-03-05T14:58:20.458+0100 ERROR instance/beat.go:911 Exiting: Failed to import ind ..
发布时间:2022-03-22 14:02:07 其他开发

弹性搜索版本冲突问题

我使用弹性搜索来进行搜索。但最近我观察到在弹性搜索中添加数据时出现了一些随机错误: 版本冲突,需要序号[113789],主要术语[19]。当前单据有序号[113797]和主术语[19] 上述类型错误是随机出现的,我无法在弹性搜索中添加/更新数据。 您能帮我理解一下吗? 此问题的根本原因是什么? 如何复制此问题?因为这是随机来的,所以需要知道复制此问题的基本步骤 这个问题的解决 ..
发布时间:2022-03-22 13:27:30 其他开发

FileBeat 收集问题

我们使用 ELK 来控制我们的程序日志.在我们的 FileBeat 配置中,我们从 30 个不同的 路径中收集,这些路径包含每秒更新的文件(它仅在 prod 的机器中每秒更新 - 在其他开发机器中,我们的日志要少得多).我们的日志文件不会被删除,直到它们变老并且我们停止使用它们(我们也不会修改那里的名称).最近我们发现配置文件 (.yml) 中最后路径的日志来自 prod 机器 从未出现在 Kib ..
发布时间:2022-01-14 11:03:34 其他开发

REDIS 在 ELK 堆栈中的意义是什么?

我目前使用 filebeat 作为日志传送器的架构,它将日志发送到日志存储索引器实例,然后发送到 AWS 中的托管弹性搜索.由于持续的 TCP 连接,我无法使用 AWS ELB 多个日志存储索引器实例进行负载平衡,因为 filebeats 总是选择实例并将其发送到那里.所以我决定使用redis.现在看到在 ELK 堆栈中扩展 redis 并使其成为高可用组件有多么困难,我想问一下 redis 的意 ..
发布时间:2021-12-28 09:36:54 其他开发

弹性搜索输出插件的 Logstash sprintf 格式不起作用

我在使用 sprintf 引用 elasticsearch 输出插件中的事件字段时遇到问题,我不知道为什么.下面是从Filebeat接收到过滤完成后发送到Elasticsearch的事件: {“节拍"=>{“主机名"=>"ca86fed16953",“名称" =>"ca86fed16953",“版本" =>“6.5.1"},“@timestamp" =>2018-12-02T05:13:21.8 ..

无需解析日志即可从 Java 应用程序登录到 ELK

我想将日志从 Java 应用程序发送到 ElasticSearch,而传统方法似乎是在运行该应用程序的服务器上设置 Logstash,并让 logstash 解析日志文件(使用正则表达式...!)并加载将它们导入 ElasticSearch. 这样做是否有原因,而不是仅仅设置 log4J(或 logback)以将所需格式的内容直接记录到日志收集器中,然后再将其异步发送到 ElasticSea ..
发布时间:2021-12-13 12:34:05 Java开发

已分析或未分析,选择什么

我只使用 kibana 来搜索 ElasticSearch,我有几个字段只能取几个值(最坏的情况,服务器名称,30 个不同的值). 我确实了解分析对更大、更复杂的字段的作用像这样,但是那些小而简单的我无法理解分析/未分析字段的进步/劣势. 那么,对于“有限的一组值"字段(例如, servername: server[0-9]* ,没有特殊字符可以破坏)使用分析和 not_analyze ..
发布时间:2021-12-13 11:43:21 其他开发

Logstash 与 Kafka 有何不同

Log stash 与 Kafka 有何不同?如果两者相同,哪个更好?以及如何? 我发现两者都是可以推送数据以进行进一步处理的管道. 解决方案 Kafka 比 Logstash 强大得多.为了将 PostgreSQL 等数据同步到 ElasticSearch,Kafka 连接器可以使用 Logstash 完成类似的工作. 一个关键的区别是:Kafka是一个集群,而Logstas ..
发布时间:2021-11-12 02:10:29 其他开发

正常处理Logstash插件过滤器错误

因此,我正在为Logstash构建插件,但似乎找不到任何有关如何处理引发和/或挽救的异常的文档.到目前为止,与grok相似,我们添加了 event ["tag"] = ["_filter_error"] ,但是涉及元数据,例如堆栈跟踪,错误类型等.应该活着,还是应该忽略掉它们? 解决方案 这是一个逐案的问题,因此很难回答.但是,我将分享我们最终的做法,以便对某人有所帮助. 救援所有异 ..
发布时间:2021-05-03 20:46:07 其他开发