如何将自定义摄取管道与坞站自动发现结合使用
我很难将定制的Elasticearch接收管道与FileBeat的Docker自动发现结合使用。我从filebeat.yml文件中的自定义处理器开始，但我更愿意将其转换为我创建的自定义接收管道。 首先，以下是我使用定制处理器的配置，该处理器为我的Servarrapp Docker容器(通过在我的docker-compose.yml文件中为它们应用标签来标识)提供定制的类似Grok的处理。处理器将
..
filebeat相关内容
船坞nginx集装箱的日志存储在主机的什么地方
我使用default nginx image和FileBeat读取日志并将它们发送给elk。 两个容器(nginx容器和Filebeat容器)位于同一主机计算机上。 这是nginx镜像的Dockerfile FROM nginx COPY . /usr/share/nginx/html/ EXPOSE 80 在我的nginx容器中，访问日志转到STDOUT，错误日志转到STDERR
..
正在将文件节拍连接到Kibana
我正在尝试在服务器上设置fileBeat，然后在Elastic Stack Docker容器设置上运行安装程序。但目前，无论我做什么尝试，都没有办法让它正常工作。无论是否使用https，我都会收到以下错误： 2019-03-05T14:58:20.458+0100 ERROR instance/beat.go:911 Exiting: Failed to import ind
..
我是否可以使用nginx对logstash群集进行负载均衡
我有2个logstash服务器，它们监听来自多个文件节拍的5000个。只有一台日志存储服务器获得流量。我可以用nginx进行负载均衡吗？我是否可以对ElasticSearch服务器群集执行相同的操作？ 推荐答案 这听起来不像是问题。 不过，我可能建议在这两种情况下使用haproxy作为反向代理。Nginx在快速服务数据方面有很好的表现，但与反向代理开箱即用时就没有那么好了-与hapr
..
使用 Terraform 创建 Filebeat 配置
我正在尝试在使用 Terraform 创建实例后创建 Filebeat 配置文件: 资源“local_file"“greylogIP"{内容=
..
FileBeat 收集问题
我们使用 ELK 来控制我们的程序日志.在我们的 FileBeat 配置中，我们从 30 个不同的 路径中收集，这些路径包含每秒更新的文件(它仅在 prod 的机器中每秒更新 - 在其他开发机器中，我们的日志要少得多).我们的日志文件不会被删除，直到它们变老并且我们停止使用它们(我们也不会修改那里的名称).最近我们发现配置文件 (.yml) 中最后路径的日志来自 prod 机器 从未出现在 Kib
..
连接回退失败(async(tcp://ip:5044)): dial tcp ip:5044: i/o timeout
Filebeat 在机器 B 上运行，它读取日志并推送到机器 A 上的 ELK logstash. 但是在机器B的filebeat日志中，却显示错误i/o timeout 2019-08-24T12:13:10.065+0800 ERROR pipeline/output.go:100 无法连接到 backoff(async(tcp://example.com:5044)): dial t
..
REDIS 在 ELK 堆栈中的意义是什么?
我目前使用 filebeat 作为日志传送器的架构，它将日志发送到日志存储索引器实例，然后发送到 AWS 中的托管弹性搜索.由于持续的 TCP 连接，我无法使用 AWS ELB 多个日志存储索引器实例进行负载平衡，因为 filebeats 总是选择实例并将其发送到那里.所以我决定使用redis.现在看到在 ELK 堆栈中扩展 redis 并使其成为高可用组件有多么困难，我想问一下 redis 的意
..
Kafka-Connect 与 Filebeat &日志存储
我希望从 Kafka 消费并将数据保存到 Hadoop 和 Elasticsearch.我目前看到了两种方法:使用 Filebeat 从 Kafka 消费并将其发送到 ES 和使用 Kafka-Connect 框架.有一个 Kafka-Connect-HDFS 和 Kafka-Connect-Elasticsearch 模块. 我不确定使用哪个来发送流数据.虽然我认为如果我想在某个时候从 K
..
Suricata 到 Filebeat 到 Kafka，按事件类型路由到主题
几天前我发现了 Filebeat.如果我在 filebeat.yml 中硬编码主题名称，我会直接将数据发送到 Kafka.但我似乎无法弄清楚如何根据 suricata 事件类型动态计算主题名称.我启用了 filebeat suricata 模块，并在 filebeat.yml 主题值中尝试了许多内容，例如: topic: 'suricata-%{[fields.suricata.eve.even
..
Suricata 到 Filebeat 到 Kafka，按事件类型路由到主题
几天前我发现了 Filebeat.如果我在 filebeat.yml 中硬编码主题名称，我会直接将数据发送到 Kafka.但我似乎无法弄清楚如何根据 suricata 事件类型动态计算主题名称.我启用了 filebeat suricata 模块，并在 filebeat.yml 主题值中尝试了许多内容，例如: topic: 'suricata-%{[fields.suricata.eve.even
..
带有 Kafka 字段的 logstash 中的条件问题 ---->FileBeat 探矿者
我有以下场景: FileBeat ----> Kafka -----> Logstash -----> Elastic ----> Kibana 在 Filebeat 中，我有 2 个探矿者在 YML 文件中，.我添加了一些字段来识别日志数据.但是，问题是:在 Logstash 中，我无法验证这些字段. 配置文件为: 1.filebeat.yml filebeat.pro
..
Filebeat“加载配置文件时出错:yaml:未找到预期的密钥"
我被堆在这个问题上. 我有一台启用了x-pack安全性的Elasticsearch服务器.具有Filebeat的客户端正在将输出发送到该服务器.所有人都在不启用x-pck安全的情况下正常工作，但是这样做，实际上是我收到此错误消息. ./filebeat测试配置-v退出:加载配置文件时出错:yaml:第157行:未找到预期的密钥 导致错误的行是“用户名"和“密码".注释后，配置测试可以
..
Logstash管道无法与csvfile一起使用
按如下所示进行设置 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.deb须藤dpkg -i logstash-6.6.2.debsudo systemctl启用logstash.servicesudo systemctl启动logstash.service 并且我添加了如下的管道脚本 输入{文件 {
..
Logstash和Filebeat设置event.dataset值
我有一个配置，其中filebeat从某些文件中获取日志(使用自定义格式)，然后将这些日志发送到logstash实例. 在logstash中，我应用了gork过滤器以拆分某些字段，然后将输出发送到我的elasticsearch实例. 管道正常运行，并且已正确加载到Elasticsearch上，但不存在任何事件数据(例如 event.dataset 或 event.module ).因此，
..
尝试启动Logstash时如何解决问题“不支持的major.minor版本52.0"
我想在服务器中启动Logstash服务，但是当我尝试启动时，出现警告信息日志.这个问题解决了吗? 我所有的设置都与Web上的信息相同，从startup.option，jvm.option，logstash.yml和logstash-sample.conf上的配置开始，但是当我尝试启动时，它会出现以下错误:> [root @ CDS01〜/logstash] $./bin/logstas
..
Filebeat:数据路径已被另一个拍子锁定.请确保多个节拍没有共享相同的数据路径
查看其中一个filebeat窗格中的日志，我可以看到: 2021-01-04T10:10:52.754Z调试[add_cloud_metadata] add_cloud_metadata/providers.go:129 add_cloud_metadata:fetchMetadata运行了2.351101ms2021-01-04T10:10:52.754Z INFO [add_cloud_m
..
Windows docker:权限被拒绝/var/run/docker.sock
当我尝试运行具有自动发现功能的filebeat时，出现以下错误: 退出:自动发现提供程序设置中的错误:获得权限尝试在以下位置连接到Docker守护程序套接字时被拒绝unix:///var/run/docker.sock:获取 http://%2Fvar%2Frun%2Fdocker.sock/v1.22/containers/json?limit = 0 :拨号Unix/var/run/do
..
Suricata到Filebeat到Kafka，按事件类型路由到主题
几天前我发现了Filebeat.如果我在filebeat.yml中将主题名称硬编码，则可以直接将数据发送到Kafka.但我似乎无法弄清楚如何根据suricata事件类型动态计算主题名称.我已启用filebeat suricata模块，并尝试了filebeat.yml主题值中的许多操作，例如: 主题:"suricata-％{[fields.suricata.eve.event_type]}"
..
将旧日志从Filebeat重新发送到Logstash
在此先感谢您的帮助.我想重新加载一些日志以自定义其他字段.我注意到filebeat配置中的注册表文件会跟踪已经选择的文件.但是，如果删除该文件中的内容，则不会恢复旧的日志.我也尝试过更改注册表文件中源的时间戳，但不成功.将旧的日志从Filebeat发送到logstash需要进行哪些更改? 我该如何找回日志? 更新: 这是tomcat容器中的最后一次登录: 2019-03-1
..