如何使用gSub将包含下划线的部分字符串转换为logstash中的方括号
我想皈依，例如 您好_1_。再见 至 你好[1]。再见 请注意，[1]，即括号内仅包含数字 我从这样的东西开始，但没有起作用.. filter { mutate { gsub => ["String", "*_D_.*", "*[D].*"] //Note that String here could be Hello_1_.Bye, Hello_2_.Bye etc.
..
logstash相关内容
我是否可以使用nginx对logstash群集进行负载均衡
我有2个logstash服务器，它们监听来自多个文件节拍的5000个。只有一台日志存储服务器获得流量。我可以用nginx进行负载均衡吗？我是否可以对ElasticSearch服务器群集执行相同的操作？ 推荐答案 这听起来不像是问题。 不过，我可能建议在这两种情况下使用haproxy作为反向代理。Nginx在快速服务数据方面有很好的表现，但与反向代理开箱即用时就没有那么好了-与hapr
..
用Json查询Kibana中的ElasticSearch
我已经设置了ELK堆栈，在索引和筛选我所需的数据方面似乎一切正常。 我的日志文件包含以下内容： 123 20126254 6718 Chicken 1234 20326254 6718 Bread 123 20126254 6718 Chicken 123 20126254
..
使用logstash将整个数据库保存到ElasticSearch
我是ELK新手，目前正在做的是： 使用configuration.conf文件设置logstash中的jdbc(输入>过滤>输出) 对于在logstash配置文件中具有单独input{}的每个MySQL查询 或使用pipilines.yml让单独的配置文件在单独的线程中运行(即每个MySQL查询都有(存储在)不同的配置文件中) 为管道运行命令logstash -f config.con
..
使用logstash在弹性搜索中将两个索引合并为第三个索引
我有两个索引 EMPLOYEE_DATA {"code":1, "name":xyz, "city":"Mumbai" } TRANSACTION_DATA {"code":1, "Month":June", payment:78000 } 我想要像这样的第三个索引 3)JOIN_INDEX {"code":1, "name":xyz, "city":"Mumbai", "Mo
..
引导索引设置为写入索引，但日志将写入旧索引
容器日志在Kubernetes上运行Elastic+Fluentbit+Kibana堆栈，基于日期(NEW-YYYY-MM-DD)的每日翻转正常，但在大容量时会导致分片过大问题，所以创建了下文提到的ILM策略，以便快速翻转。引导索引是可写的，但仍在写入旧索引(NEW-YYYY-MM-DD)，而不是新索引NEW-YYYY-MM-DD-000001。我已经提过尝试过的事情，但还没有成功。 Cre
..
升级气流版本后，远程日志记录不起作用
我们将Airflow v2.1.4与Kubernetes执行器一起使用。 我们的K8S群集Pod stdout通过filebatch->；logstash->；Elasticsearch(Elk)自动发货。 在logstash中，我们正在创建log_id字段： mutate { copy => { "[log][offset]" => "offset" }
..
日志堆栈中的ElasticSearch_UPDATE_BY_QUERY错误[HTTP输出失败]遇到非2xx HTTP代码400
Working_UPDATE_BY_QUERY调用- POST /s1test-demo7/_update_by_query { "script": { "source": "ctx._source.externaldata = params.externaldata", "lang": "painless", "params": {
..
用于全局变化子索引模式的Logstash配置
我有一个ELK堆栈，带有一些已配置的索引模式。作为内部需求的一部分，我需要将一个json对象(它是该索引模式的一部分)全局编辑为"；string"；。 到目前为止，这样的json对象是由许多子字段随机填充的，比如"；date"；、"；temps"；以及更多的子字段。 所有这些都由ELK自动管理，但我需要将它们全部处理并转换(强制转换)为&q；字符串&
..
Logstash：无法连接到外部Amazon RDS数据库
我对logstash&；Elasticsearch相对较新. 已在MacOS Mojave上安装使用的logstash&；Elasticsearch(10.14.2)： brew install logstash brew install elasticsearch 当我检查这些版本时： brew list --versions 接收以下输出： elas
..
Logstash错误Java：：JavaLang：：NoClassDefFoundError无法解析
我是使用ElasticSearch(ES)和logstash的新手。我已经使用这个link成功设置了ElasticSearch和kibana。在此之后，我尝试使用logstash将一个表从SQL server上传到ES。我的logstash配置文件如下所示： input { jdbc { clean_run => true jdbc_driver_library => "/h
..
如何使用ElasticSearch评估日志消息之间的时间
我想知道我的旧PHP web应用程序中的不同操作需要多长时间。有一个日志文件，它在操作开始和结束时写出消息。它看起来像这样。 日志文件 2018-08-13 13:05:07,217 [30813] ControllerA: actionA start 2018-08-13 13:05:07,280 [30813] ControllerA: actionA end 2018-08-13
..
Logstash配置，如果字符串包含."；
那么，让我们假设我有一个日志行的一部分，如下所示： GET /restAPI/callMethod1/8675309 get与http方法匹配，Get被提取，其余部分与URI匹配，也被提取。现在，在logstash配置中，让我们假设我想要执行如下操作. if [METHOD] == "GET" { if [URI] (CONTAINS
..
logback-LogStash-在Logback中添加属性并将其发送到Logstash
我在SpringBoot应用程序中使用Logback和Logstash。 在logback.xml中，我有一个带有服务名称的属性，如下所示：
..
将特定的MDC字段追加到logstash日志中
我正在尝试将自定义字段添加到logback-spring.xml中的logstash附加器中，如下所示：
..
使用 Postman 模拟 ELK Beat 输出到 Logstash
我有将数据发送到 logstash 的 Elastic Beats(如 metricbeat 和 auditbeat).出于测试目的，我想模拟一些从节拍到 logstash 输入的数据. 我正在使用 beats 中的 logstash 输出插件(yaml 配置文件): output.logstash:启用:真主机:[“127.0.0.1:5044"] 以及 logstash 中的 bea
..
Fluentd SSL/TLS 保护 TCP 输出插件到通用接收器(Logstash)?
我一直在寻找用于 tcp 的 fluentd 输出插件，它也是 ssl 安全的，不会强制我的接收器来自特定类型.就我而言，我的接收者是 logstash. 以下是一些接近的插件(接近但没有雪茄): 转发输出 - 不支持 ssl 连接. 安全转发输出 - 仅将数据发送到另一个 fluentd 接收器. 有些是 https 插件，有些是特定的服务插件(需要某种令牌/用户/密码)
..
如何将 gem 添加到 Logstash
我正在运行 Logstash 1.4.1，与最新版本相比，我在安装文件夹中找不到包含 gem 信息的任何地方(而 github 中的最新代码有那些 gembag.rb、Gemfile 等) 我当前的问题是我需要使用 Logstash 没有开箱即用的几个 gem，只是 require 'gemname' 似乎不起作用.谁能指导我阅读解释如何添加这些 3rd 方宝石或向我展示一些可以做到这一点的
..
将数据从 Dynamodb 发送到 Amazon Elasticsearch 的最佳方式
我想知道将数据从 dynamoDB 发送到 elasticsearch 的最佳方式是什么. AWS SDK js.https://github.com/Stockflare/lambda-dynamo-to-elasticsearch/blob/master/index.js DynamoDB logstash 插件:https://github.com/awslabs/logstas
..
连接回退失败(async(tcp://ip:5044)): dial tcp ip:5044: i/o timeout
Filebeat 在机器 B 上运行，它读取日志并推送到机器 A 上的 ELK logstash. 但是在机器B的filebeat日志中，却显示错误i/o timeout 2019-08-24T12:13:10.065+0800 ERROR pipeline/output.go:100 无法连接到 backoff(async(tcp://example.com:5044)): dial t
..