logstash相关内容

如何编写Logstash过滤器来过滤kafka主题

我想使用 kafka 作为输入，使用 logstash 作为输出.我将几个主题输入到logstash，并希望根据主题进行过滤.我试着写这样的代码: 输入{卡夫卡{bootstrap_servers =>“本地主机:9092"主题 =>[“测试"，“付款"]}}筛选 {如果[主题] =“测试"{//做点什么} 别的 {//做点什么}} 但似乎不起作用. 解决方案 所以之前的两个答案都有道 ..
发布时间：2021-11-12 02:43:32 其他开发

如何编写Logstash过滤器来过滤kafka主题

我想使用 kafka 作为输入，使用 logstash 作为输出.我将几个主题输入到logstash，并希望根据主题进行过滤.我试着写这样的代码: 输入{卡夫卡{bootstrap_servers =>“本地主机:9092"主题 =>[“测试"，“付款"]}}筛选 {如果[主题] =“测试"{//做点什么} 别的 {//做点什么}} 但似乎不起作用. 解决方案 所以之前的两个答案都有道 ..
发布时间：2021-11-12 02:41:45 其他开发

如何运行 mongo-kafka 连接器作为 kafka 的源并将其与 logstash 输入集成以使用 elasticsearch 作为接收器?

我创建了一个 https://github.com/mongodb/mongo-kafka 但是它如何运行以连接我正在运行的 kafka 实例. 这个问题听起来多么愚蠢.但是似乎没有可用的文档可以使此操作与本地运行的 mongodb 的 replicaset 一起使用. 所有博客都指向使用 mongo atlas. 如果你有好的资源，请指导我. 更新 1 -- ..
发布时间：2021-11-12 02:39:57 其他开发

如何使用 Kafka 在 logstash 中保留日志更长时间?

目前我使用 redis -> s3 -> elastic search -> kibana stack 来管理和可视化我的日志.但是由于弹性搜索中的数据量很大，我可以将日志保留长达 7 天. 我想在这个堆栈中引入 kafka 集群并将日志保留更多天数.我正在考虑关注堆栈. 应用程序节点将日志传送到 kafka -> kafka 集群 -> elastics 搜索集群 -> kibana ..
发布时间：2021-11-12 02:03:16 其他开发

使用 Grok 为 Logstash 解析 Apache2 错误日志

我正在尝试解析我的 apache2 错误日志，但遇到了一些麻烦.它似乎与过滤器不匹配.我很确定时间戳是错误的，但我不确定，我真的找不到任何文档来弄清楚.另外，有没有办法将 fields.errmsg 中的内容发送给我 @message? 日志 [Wed Jun 26 22:13:22 2013] [error] [client 10.10.10.100] PHP 致命错误:未捕获的异常 ' ..
发布时间：2021-11-11 22:07:15 服务器开发

如何在logstash/kibana中添加自定义字段?

我正在使用 python-logstash 来写入logstash.它提供了添加其他字段的选项，但是问题是所有字段都在 message 字段下.我要完成的工作是在更高级别上添加一个新字段. 我从 logstash.config 中找到了执行此操作的选项(使用 ruby​​ / grok / mutate 插件)，但该解决方案不是可扩展的解决方案(必须为每个计算机实例进行配置) 类似的东 ..
发布时间：2021-05-30 20:58:34 Python

在日志文件GROK模式中容纳不确定数量的空间

这可能是一个简单的问题，但是在我的日志中，不同字段之间的空格是不确定的，这意味着在某些日志中，我可以看到两个空格，而在相同字段之间则可以看到三个空格.我们如何在GROK中容纳这个? 解决方案 您可以在grok模式中使用％{SPACE} * 来匹配非标准的空格数.即使没有空格，它也会匹配. ..
发布时间：2021-05-30 20:58:31 其他开发

如果输出之一失败，logstash多个输出将不起作用

我有logstash的下一个配置: 输出{elasticsearch {host =>“弹性主机"标准输出{编解码器=>json}文件 {路径=>"./out.txt"} 如果Elasticsearch主机不可用，那么我根本不会收到任何输出.只有关于 ElasticSearch 输出失败的错误. 所以问题是，即使其中之一失败，我如何配置logstash以可靠地将日志发送到输出? ..
发布时间：2021-05-30 20:58:28 其他开发

logstash grok filter-grok解析失败

我有多行自定义日志，我正在通过filebeat multiline关键字将其作为一行处理.现在，每行的末尾都包含\ n.但是，这会导致我的logstsash配置文件中的grok解析失败.有人可以帮我这个忙吗?这是所有人的样子: 请使用grok过滤器帮助我以下行: 11/18/2016 3:05:50 AM:\ n引发的错误是:\ nEmpty排队\ n **************** ..
发布时间：2021-05-30 20:58:25 其他开发

Logstash csvparsefailure和dateparsefailure

我正在使用此过滤器来解析从php文件生成的某些csv数据.我正在从名为msi afterburner的gpu监视工具获取输出，该工具输出.hml文件.有大量的空格和不相关的标头，我的php文件将其删除并输出以逗号分隔的值. 过滤器{CSV{列=>["somename"，"@ timestamp"，"cpu.avg.temp"，"gpu.temp"，"fan.speed"，"gpu.usage"， ..
发布时间：2021-05-30 20:58:22 PHP

如何在Kubernetes上以持久卷部署Logstash?

使用GKE通过带pvc的statefulset种类部署logstash.还需要安装输出插件. 当不使用时为true；睡一千完成； 在容器的命令 args 中，则无法通过pvc成功部署. 广告连播会导致 CrashLoopBackOff 错误. 正常创建13秒(x2超过14秒)kubelet创建容器logstash正常启动13秒(x2超过13秒)kubelet启动容器logstash警 ..
发布时间：2021-05-30 20:58:18 其他开发

使用多个csv生成多种类型

我试图基于各种csv在同一索引中生成各种类型.由于我不知道csv的数量，因此无法为每个输入csv.那么，有谁知道如何使用文件名生成类型，并在其中分别引入csv? 输入{文件 {路径 =>"/home/user/Documents/data/*.csv"start_position =>“开始"sincedb_path =>"/dev/null"}}筛选 {csv {分隔符=>“，"skip_he ..
发布时间：2021-05-30 20:58:15 其他开发

在Logstash中定义多个输出，同时处理Elasticsearch实例的潜在不可用性

我为Logstash配置了两个输出，因为我需要将数据传递到位于不同位置的两个单独的Elasticsearch节点. 下面是该配置的摘要(在需要的地方已编辑): 输出{elasticsearch {主机=>[" https://host1.local:9200"]cacert =>'/etc/logstash/config/certs/ca.crt'用户=>XXXXX密码=>XXXXX索引= ..
发布时间：2021-05-30 20:58:12 其他开发

Elasticsearch-用逗号分割-分割过滤器Logstash

我有一个字段，其中的值是动态的.我想将空格分隔的令牌存储在完成建议程序 的数组字段中 如果我的字段 val 是 hi您好，那么我想用组成一个数组[嗨，您好，您好吗?你，你] 我尝试使用分离过滤器作为 csv 中的数据.我做不到.无论如何，仅使用ES Logstash即可做到这一点. 解决方案 基于我链接到的解决方案，您可以实现以下目标. 首先创建一个利用 script 处理 ..
发布时间：2021-05-30 20:58:03 其他开发