logstash相关内容

如何使用多个实体绑定设置 ElasticSearch 索引结构

最近,我开始致力于将 ElasticSearch (ES) 实现到使用 MySQL 用 PHP 编写的旧电子商务应用程序中.我对所有这些东西都是全新的,阅读文档很好,但我真的需要有经验的人来给我建议. 从 ES 文档中,我能够设置一个新的集群,并且我还发现河流已被弃用并且应该被替换,因此我将它们替换为 Logstash 和 JDBC MySQL 连接器. 此时我有: 弹性搜索 ..
发布时间:2021-11-20 21:40:03 MySQL

如何将 Wazuh 服务器与 HELK 集成

我想将 Wazuh 服务器与 HELK 集成,但我做不到,logstash 也无法获取来自 kafka 的任何 Wazuh 警报或将 Wazuh 警报发送到 Elasticsearch.我使用“wazuh-alerts"名称创建 kafka 主题并在 logstash 配置文件中设置我的配置.有什么问题? 在 HELK 中,Logstash 配置放置在管道目录中,它包含以下文件: 0002 ..
发布时间:2021-11-12 03:14:13 其他开发

如何将 Wazuh 服务器与 HELK 集成

我想将 Wazuh 服务器与 HELK 集成,但我做不到,logstash 也无法获取来自 kafka 的任何 Wazuh 警报或将 Wazuh 警报发送到 Elasticsearch.我使用“wazuh-alerts"名称创建 kafka 主题并在 logstash 配置文件中设置我的配置.有什么问题? 在 HELK 中,Logstash 配置放置在管道目录中,它包含以下文件: 0002 ..
发布时间:2021-11-12 03:12:55 其他开发

Logstash 编解码器 - Avro 架构注册表:avro_schema_registry 由于未定义的局部变量或方法“响应"而失败

我有一个 Logstash conf,它以 json 格式从 Kafka 主题中读取,它使用 avro_schema_registry 将输出序列化为 avro.这是配置文件: 输入{卡夫卡{group_id =>“测试组"主题 =>[“logs_json"]bootstrap_servers =>“服务器 2:9094,服务器 1:9094,服务器 3:9094"编解码器 =>“json"消费 ..
发布时间:2021-11-12 03:12:19 其他开发

如何编写Logstash过滤器来过滤kafka主题

我想使用 kafka 作为输入,使用 logstash 作为输出.我将几个主题输入到logstash,并希望根据主题进行过滤.我试着写这样的代码: 输入{卡夫卡{bootstrap_servers =>“本地主机:9092"主题 =>[“测试",“付款"]}}筛选 {如果[主题] =“测试"{//做点什么} 别的 {//做点什么}} 但似乎不起作用. 解决方案 所以之前的两个答案都有道 ..
发布时间:2021-11-12 02:43:32 其他开发

如何编写Logstash过滤器来过滤kafka主题

我想使用 kafka 作为输入,使用 logstash 作为输出.我将几个主题输入到logstash,并希望根据主题进行过滤.我试着写这样的代码: 输入{卡夫卡{bootstrap_servers =>“本地主机:9092"主题 =>[“测试",“付款"]}}筛选 {如果[主题] =“测试"{//做点什么} 别的 {//做点什么}} 但似乎不起作用. 解决方案 所以之前的两个答案都有道 ..
发布时间:2021-11-12 02:41:45 其他开发

带有 Kafka 字段的 logstash 中的条件问题 ---->FileBeat 探矿者

我有以下场景: FileBeat ----> Kafka -----> Logstash -----> Elastic ----> Kibana 在 Filebeat 中,我有 2 个探矿者在 YML 文件中,.我添加了一些字段来识别日志数据.但是,问题是:在 Logstash 中,我无法验证这些字段. 配置文件为: 1.filebeat.yml filebeat.pro ..
发布时间:2021-11-12 02:41:36 其他开发

如何运行 mongo-kafka 连接器作为 kafka 的源并将其与 logstash 输入集成以使用 elasticsearch 作为接收器?

我创建了一个 https://github.com/mongodb/mongo-kafka 但是它如何运行以连接我正在运行的 kafka 实例. 这个问题听起来多么愚蠢.但是似乎没有可用的文档可以使此操作与本地运行的 mongodb 的 replicaset 一起使用. 所有博客都指向使用 mongo atlas. 如果你有好的资源,请指导我. 更新 1 -- ..
发布时间:2021-11-12 02:39:57 其他开发

如何使用 Kafka 在 logstash 中保留日志更长时间?

目前我使用 redis -> s3 -> elastic search -> kibana stack 来管理和可视化我的日志.但是由于弹性搜索中的数据量很大,我可以将日志保留长达 7 天. 我想在这个堆栈中引入 kafka 集群并将日志保留更多天数.我正在考虑关注堆栈. 应用程序节点将日志传送到 kafka -> kafka 集群 -> elastics 搜索集群 -> kibana ..
发布时间:2021-11-12 02:03:16 其他开发

带有 apache2 ssl 代理的 Elasticsearch

最近我一直在尝试让 Elasticsearch 可以通过 SSL 使用.这让我走上了一条有趣的路线,从 apache 到 nginx,再到 apache 到 nginx,现在终于回到了 apache. 我需要 LDAP 进行身份验证,这就是我停止使用 nginx 的原因.我按照这个 https://gist.github.com/jerrac/0a8bd96e6c42eb84b6f2 来配置 ..
发布时间:2021-11-11 22:14:53 其他开发

使用 Grok 为 Logstash 解析 Apache2 错误日志

我正在尝试解析我的 apache2 错误日志,但遇到了一些麻烦.它似乎与过滤器不匹配.我很确定时间戳是错误的,但我不确定,我真的找不到任何文档来弄清楚.另外,有没有办法将 fields.errmsg 中的内容发送给我 @message? 日志 [Wed Jun 26 22:13:22 2013] [error] [client 10.10.10.100] PHP 致命错误:未捕获的异常 ' ..
发布时间:2021-11-11 22:07:15 其他开发

在每个文档中查找数组类型字段的长度(大小)

我的索引中有一个字段,它是一个整数数组.我要添加另一个包含元素数量计数的字段. 即使提供计数的API调用也没问题. 我发现了一些相关的东西:"script":"doc ['MyField'].values.size()" 但是我不知道&在哪里使用它.请帮忙! 解决方案 您可以使用 ..
发布时间:2021-05-30 20:58:37 其他开发

如何在logstash/kibana中添加自定义字段?

我正在使用 python-logstash 来写入logstash.它提供了添加其他字段的选项,但是问题是所有字段都在 message 字段下.我要完成的工作是在更高级别上添加一个新字段. 我从 logstash.config 中找到了执行此操作的选项(使用 ruby​​ / grok / mutate 插件),但该解决方案不是可扩展的解决方案(必须为每个计算机实例进行配置) 类似的东 ..
发布时间:2021-05-30 20:58:34 其他开发

在日志文件GROK模式中容纳不确定数量的空间

这可能是一个简单的问题,但是在我的日志中,不同字段之间的空格是不确定的,这意味着在某些日志中,我可以看到两个空格,而在相同字段之间则可以看到三个空格.我们如何在GROK中容纳这个? 解决方案 您可以在grok模式中使用%{SPACE} * 来匹配非标准的空格数.即使没有空格,它也会匹配. ..
发布时间:2021-05-30 20:58:31 其他开发

如果输出之一失败,logstash多个输出将不起作用

我有logstash的下一个配置: 输出{elasticsearch {host =>“弹性主机"标准输出{编解码器=>json}文件 {路径=>"./out.txt"} 如果Elasticsearch主机不可用,那么我根本不会收到任何输出.只有关于 ElasticSearch 输出失败的错误. 所以问题是,即使其中之一失败,我如何配置logstash以可靠地将日志发送到输出? ..
发布时间:2021-05-30 20:58:28 其他开发

logstash grok filter-grok解析失败

我有多行自定义日志,我正在通过filebeat multiline关键字将其作为一行处理.现在,每行的末尾都包含\ n.但是,这会导致我的logstsash配置文件中的grok解析失败.有人可以帮我这个忙吗?这是所有人的样子: 请使用grok过滤器帮助我以下行: 11/18/2016 3:05:50 AM:\ n引发的错误是:\ nEmpty排队\ n **************** ..
发布时间:2021-05-30 20:58:25 其他开发

Logstash csvparsefailure和dateparsefailure

我正在使用此过滤器来解析从php文件生成的某些csv数据.我正在从名为msi afterburner的gpu监视工具获取输出,该工具输出.hml文件.有大量的空格和不相关的标头,我的php文件将其删除并输出以逗号分隔的值. 过滤器{CSV{列=>["somename","@ timestamp","cpu.avg.temp","gpu.temp","fan.speed","gpu.usage", ..
发布时间:2021-05-30 20:58:22 其他开发

如何在Kubernetes上以持久卷部署Logstash?

使用GKE通过带pvc的statefulset种类部署logstash.还需要安装输出插件. 当不使用时为true;睡一千完成; 在容器的命令 args 中,则无法通过pvc成功部署. 广告连播会导致 CrashLoopBackOff 错误. 正常创建13秒(x2超过14秒)kubelet创建容器logstash正常启动13秒(x2超过13秒)kubelet启动容器logstash警 ..
发布时间:2021-05-30 20:58:18 其他开发

使用多个csv生成多种类型

我试图基于各种csv在同一索引中生成各种类型.由于我不知道csv的数量,因此无法为每个输入csv.那么,有谁知道如何使用文件名生成类型,并在其中分别引入csv? 输入{文件 {路径 =>"/home/user/Documents/data/*.csv"start_position =>“开始"sincedb_path =>"/dev/null"}}筛选 {csv {分隔符=>“,"skip_he ..
发布时间:2021-05-30 20:58:15 其他开发