elastic-stack相关内容

Logstash 与 Kafka 有何不同

Log stash 与 Kafka 有何不同?如果两者相同,哪个更好?以及如何? 我发现两者都是可以推送数据以进行进一步处理的管道. 解决方案 Kafka 比 Logstash 强大得多.为了将 PostgreSQL 等数据同步到 ElasticSearch,Kafka 连接器可以使用 Logstash 完成类似的工作. 一个关键的区别是:Kafka是一个集群,而Logstas ..
发布时间:2021-11-12 02:10:29 其他开发

正常处理Logstash插件过滤器错误

因此,我正在为Logstash构建插件,但似乎找不到任何有关如何处理引发和/或挽救的异常的文档.到目前为止,与grok相似,我们添加了 event ["tag"] = ["_filter_error"] ,但是涉及元数据,例如堆栈跟踪,错误类型等.应该活着,还是应该忽略掉它们? 解决方案 这是一个逐案的问题,因此很难回答.但是,我将分享我们最终的做法,以便对某人有所帮助. 救援所有异 ..
发布时间:2021-05-03 20:46:07 其他开发

在Elasticsearch中完全禁用动态映射

我有一个索引模板,可以从中创建索引 PUT/_index_template/example_template{"index_patterns":[“示例*"],“优先级":1,“模板":{“别名":{“示例":{}},“映射":{“动态":严格,"_source":{“启用":false},“属性":{"SomeID":{"type":"keyword","index":true,"store ..
发布时间:2021-05-03 20:46:03 其他开发

Logstash管道无法与csvfile一起使用

按如下所示进行设置 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.deb须藤dpkg -i logstash-6.6.2.debsudo systemctl启用logstash.servicesudo systemctl启动logstash.service 并且我添加了如下的管道脚本 输入{文件 { ..
发布时间:2021-05-03 20:45:54 其他开发

Nginx grok模式的logstash

以下是我的 Nginx日志格式 log_format timed_combined'$ http_x_forwarded_for-$ remote_user[$ time_local]''"$ request" $ status $ body_bytes_sent''"$ http_referer""$ http_user_agent"''$ request_time $ upstream_ ..
发布时间:2021-05-03 20:45:51 其他开发

'总字段数超过1000个Elasticsearch例外

由于我的Sql模式,我的Elasticsearch索引具有1000多个字段,并且出现以下异常: {'type':'illegal_argument_exception','reason':'总限制索引}中的字段[1000] 我的批量插入内容如下 ,其中open('audit1.txt')作为文件:对于文件中的行:列= line.split(r'||')dict ['TimeStamp ..
发布时间:2021-05-03 20:40:50 其他开发

如何在Elasticsearch中监视查询?

我们正在使用弹性APM 来监视我们的API.它显示查询状态和有关查询的有用信息.我想要有关发送到Elasticsearch服务器的查询的相同信息. 我想获取有关查询,时间,状态代码等的信息.Elasticstack中是否有任何可用于此目的的插件? 解决方案 有关高级概述信息,请查看监视API本身. 如果要记录此类信息,则应设置阈值获取您的Elasticsearch慢日志. ..
发布时间:2021-05-03 20:40:34 其他开发

如何计算Elasticsearch索引大小?

我有一个从2020年12月26日到2021年1月28日的基于时间的索引(log-nginx-2021.01.28),每个索引的大小约为4.5 mb,这些索引有3个主分区和1个副本分区,总共6个分区,所以我的问题是包括副本的索引大小也为4.5 mb吗? 解决方案 ,您可以使用 _cat/indices?v API,该API打印总索引大小和主碎片的总大小. 如果您可以提供Above API的 ..
发布时间:2021-05-03 20:39:37 其他开发

方面,并根据方面进行一些过滤

我有一个关于构面的问题,并根据构面进行了一些过滤.我知道这是一个重复的问题,但我找不到答案. 我想知道如何在弹性搜索中实现相同的功能. 假设我有关于汽车和某些方面的索引-例如.模型和颜色. 颜色 []红色(10) []蓝色(5) []绿色(2) 模型 []宝马(4) []大众(5) []福特(8) 如果我选择一个模型,则只想获取该模 ..
发布时间:2021-05-03 20:39:00 其他开发

Logstash的流式传输行为不一致-ELK

我有一个包含几个平面字段和几个嵌套字段的索引.我正在尝试通过Logstash将SQL Server中的信息通过特定的ID通过Logstash流到嵌套字段中.当我仅流传输一个 Id ID的数据时,它就可以完全成功地通过,而不会出现任何问题.另一方面,当我尝试流式传输多个ID的数据时,由于某种原因,插入到索引中的信息是不完整的.注意:查询按ID排序.而且,在流式传输数据的不同尝试中,获得了不同数量的信 ..
发布时间:2021-05-03 20:37:56 其他开发

如何在弹性搜索中对多个单词的通配符查询进行部分匹配?

假设文档文本为这是一个示例文本,用于显示搜索结果的工作方式,而我的查询字符串是 mple tex .我希望此查询字符串与文本匹配,因为它与示例文本部分匹配. 如何在弹性搜索中做到这一点?ES中可以进行很多搜索吗? 我目前使用的是match_phrase查询 "query":{"match_phrase":{"description":"mple tex"}}, 解决方案 您要查 ..
发布时间:2021-05-03 20:23:42 其他开发

Logstash XML解析失败

我正在deviantony/docker-elk映像上运行最新的ELK堆栈6.6.我有以下XML文件,尝试将其解析为ES JSON对象: 7290027600007 001 001 ..
发布时间:2021-05-03 20:20:31 其他开发

弹性搜索地理空间搜索实施

我试图了解弹性搜索在内部如何支持地理空间搜索. 对于基本搜索,它使用倒排索引;但是它如何与其他搜索条件(例如在特定半径内搜索特定文本)结合在一起. 我想了解如何存储和查询索引以支持这些查询的内部信息 解决方案 文本&地理位置查询功能彼此独立.让我们举一个具体的例子: PUT餐厅{“映射":{“特性": {“地点": {"type":"geo_point"},“菜单": {" ..
发布时间:2021-05-03 20:20:21 其他开发

在弹性搜索中排序聚合?

我有一个用例,我需要从Elasticsearch获取所有唯一的用户ID,并且应该按时间戳进行排序. 我目前使用的是带有子聚合的复合词聚合,它将返回最新的时间戳. (由于它会减慢脚本速度,因此我无法在客户端对其进行排序) 弹性搜索中的样本数据 {"_index":"logstash-2020.10.29","_type":"doc","_id":"L0Urc3UBttS_uoE ..
发布时间:2021-05-03 18:50:38 其他开发

桶在复合聚合中排序?

如何在复合聚合中对存储桶进行排序? 我需要使用Bucket排序进行复合聚合. 我尝试使用聚合排序.我已经尝试过复合聚合. 解决方案 我认为这个问题是您以前的作为父管道的桶排序聚合对其父多桶的桶进行排序的聚合聚合.并且请参考复合聚合以了解更多信息. 添加包含索引数据,映射,搜索查询和搜索结果的工作示例 索引映射: {“映射":{“属性":{“用户":{"type" ..
发布时间:2021-05-03 18:50:35 其他开发

码头工人-ELK-vm.max_map_count

我正在尝试使用docker的映像 elk-docker ( https://elk-docker.readthedocs.io/),使用Docker Compose..yml文件如下: elk:图片:sebp/elk端口:-"5601:5601"-"9200:9200"-"5044:5044" 当我运行命令:sudo docker-compose up时,控制台显示: *启动Elast ..
发布时间:2021-05-02 19:09:39 其他开发

Logstash与Kafka有何不同

日志存储与Kafka有何不同?如果两者相同,哪个更好?以及如何? 我发现这两个都是可以将数据推入进一步处理的管道. 解决方案 Kafka比Logstash强大得多.为了将数据从PostgreSQL同步到ElasticSearch,Kafka连接器可以对Logstash进行类似的工作. 一个主要的区别是:Kafka是一个集群,而Logstash基本上是单个实例.您可以运行多个Lo ..
发布时间:2021-04-08 18:48:19 其他开发