logstash相关内容
我们正在定义一种架构，以通过安装在各种机器上的 Logstash 托运人收集日志信息，并在一个弹性搜索服务器中集中索引数据，并使用 Kibana 作为图形层.我们需要在 Logstash 托运人和 elasticsearch 之间建立可靠的消息传递系统来授予交付.在选择 Redis 而不是 RabbitMQ 作为 Logstash shippers 和 elasticsearch 之间的数据代理/
..
我正在使用 jboss/keycloak:11.0.2 和 wildfly-logstash (https://github.com/kifj/wildfly-logstash) 用于将日志从 wildfly 传输到 logstash.在这种情况下，logstash 比wildfly 更早启动时，我遇到了一个问题，日志不会发送到logstash.有时我会看到这样的日志myHost:名称或服务未知.
..
我有一个在每个日志文件中只出现一次的日期，我试图在匹配一次后将此日期添加到所有后续事件中，使其在某些方面表现得像一个全局变量.(日期在文档顶部，我无法使用 multiline 或更改文件名或内容) 为此，我的方法是使用带有 drop => 的 grep 过滤器.错误. grok {patterns_dir =>“[...]"匹配 =>[ "消息", "%{DATELINE}" ]tag_o
..
我想从各种目录中读取我的日志文件，例如:Server1, Server2... Server1 有子目录 cron, auth...在这些子目录中分别是 log 文件. 所以我正在考虑阅读这样的文件: 输入{文件{#path/to/folders/server1/cronLog/cron_log路径 =>“路径/到/文件夹/**/*_log"}} 但是，我很难过滤它们，即知道对于哪
..
我一直在寻找 tcp 的 fluentd 输出插件，它也是 ssl 安全的，不会强制我的接收器来自特定类型.就我而言，我的接收器是 logstash. 以下是一些接近的插件(接近但没有雪茄): 转发输出 - 不支持 ssl 连接. 安全转发输出 - 仅将数据发送到另一个流畅的接收器. 有些是 https 插件，有些是特定的服务插件(需要某种令牌/用户/密码). 还有其
..
我想知道使用我的 Logstash Grok 过滤器的最佳方法是什么.我有一些用于特定日志条目的过滤器，不会应用于所有条目.不适用的总是生成 _grokparsefailure 标签.例如，我有一个适用于每个日志条目的 grok 过滤器，它运行良好.然后我有另一个过滤器，用于带有回溯的错误消息.回溯过滤器会为每个没有回溯的日志条目抛出 grokparsefailure. 如果没有匹配项，我宁
..
我在使用 sprintf 引用 elasticsearch 输出插件中的事件字段时遇到问题，我不知道为什么.下面是从Filebeat接收到过滤完成后发送到Elasticsearch的事件: {“节拍"=>{“主机名"=>"ca86fed16953",“名称" =>"ca86fed16953",“版本" =>“6.5.1"},“@timestamp" =>2018-12-02T05:13:21.8
..
我正在做“弹性搜索入门"教程.不幸的是，本教程没有涵盖将 csv 数据库导入 elasticsearch 的第一步. 我用谷歌搜索找到解决方案，但不幸的是它不起作用.这是我想要实现的目标和我所拥有的: 我有一个包含数据的文件，我想导入(简化) id,title10、荷马之夜12、Krusty 被打倒 我想使用 logstash 导入它.经过互联网研究后，我最终得到以下配置: 输入
..
我想将日志从 Java 应用程序发送到 ElasticSearch，而传统方法似乎是在运行该应用程序的服务器上设置 Logstash，并让 logstash 解析日志文件(使用正则表达式...！)并加载将它们导入 ElasticSearch. 这样做是否有原因，而不是仅仅设置 log4J(或 logback)以将所需格式的内容直接记录到日志收集器中，然后再将其异步发送到 ElasticSea
..
我已经设置了 logstash 以使用嵌入式 elasticsearch. 我可以记录事件. 我的 logstash conf 看起来是这样的: https://gist.github.com/khebbie/42d72d212cf3727a03a0 现在我想添加另一个 udp 输入并将该输入编入另一个索引中. 这有可能吗?我这样做是为了让报告更容易，所以我可以在一个索引中包含系
..
我们正在定义一个架构，由安装在各种机器上的 Logstash 发送器收集日志信息，并集中索引一个 Elasticsearch 服务器中的数据，并使用 Kibana 作为图形层.我们需要在 Logstash 托运人和 elasticsearch 之间建立一个可靠的消息传递系统来授权交付.在选择 Redis 而不是 RabbitMQ 作为 Logstash 托运人和 elasticsearch 之间的
..
我对 ELK 堆栈很陌生，正在尝试使用它.我有一个保存在文本文件中的 json - 只是想将它发送到弹性搜索并使用 kibana 查看. 这是我的配置文件: 输入{文件{路径 =>[“C:/Users/vaish/Desktop/sample.txt"]开始位置 =>开始编解码器 =>json}}筛选 {json {来源 =>“信息"}}输出 {标准输出 { 编解码器 =>红宝石调试 }弹
..
Sthg 让我发疯了，我想解析 Postfix 日志以了解电子邮件的状态，这是我目前尝试的方法: 输入{文件{路径=>“/var/log/mail.log"}}筛选 {千伏{修剪 =>“"}if [message] =~/[ "status=bounced" ]/{神通{patterns_dir =>“/etc/logstash/patterns"匹配 =>{“消息"=>"%{SYSLOGB
..
我开始使用创建角色 API，它按预期工作:https://www.elastic.co/guide/en/elasticsearch/reference/current/security-api-put-role.html 我得到了 elasticsearch 中的默认角色列表，/_security/role，但我不知道创建以下角色并且无法找到合适的文档. 我想根据以下需求对用户进行隔
..
我在我的 Windows 7 机器上本地安装了 Logstash 和 Elasticsearch.我在 Logstash 中安装了 logstash-input-jdbc. 我在 MySql 数据库中有数据，我使用 Logstash 将这些数据发送到 Elasticsearch，以便我可以生成一些报告. 执行此操作的 Logstash 配置文件. 输入{数据库{jdbc_driver
..
在这里使用新的 logstash jdbc 连接器: https://www.elastic.co/指南/en/logstash/current/plugins-inputs-jdbc.html后续的 logstash 运行如何影响已编入 ElasticSearch 的内容?它是在 ES 索引中创建新文档，还是更新与已被索引的行匹配的文档?我尝试解决的用例是将带有时间戳的行索引到弹性搜索中，
..
我的问题:我有 XML 文件，其中包含我想使用 Logstash 解析的事件，然后使用 Kibana 请求它.我想在每个事件中保留来自 ROOT 标签的所有信息. 输入看起来像: 我想要的是这样的两个文件: {“数字":“34"“姓名":“嘿"}{“数字":“34"“姓名":“你"} Logstash 配置: 输入{标准输入 { }}筛选 {xml {store_xml =>“错
..
我不太清楚 sql_last_value 在我给出我的陈述时做了什么: statement =>"SELECT * from mytable where id > :sql_last_value" 我可以稍微理解使用它的原因，它不会浏览整个数据库表来更新字段，而是只更新新添加的记录.如果我错了，请纠正我. 所以我想要做的是，使用 logstash 创建索引: 输入{数据库{jdbc_c
..
最近我们的服务器在没有正确关闭 Elastic Search/Kibana 的情况下重新启动.重启后，两个应用程序都在运行，但不再创建索引.我在调试模式下检查了 logstash 设置，它正在向 Elastic Search 发送数据. 现在我创建的所有窗口都报告此错误: 糟糕！SearchPhaseExecutionException[无法执行阶段[查询]，所有分片失败] 我尝试重新启
..
我们现有的搜索功能涉及 SQL Server 中跨多个表的数据.这给我们的数据库造成了沉重的负载，所以我试图找到一种更好的方法来搜索这些数据(它不会经常改变).我使用包含 120 万条记录的导入使用 Logstash 和 Elasticsearch 大约一个星期.我的问题本质上是“如何使用我的‘主键’更新现有文档"? CSV 数据文件(以管道分隔)如下所示: 369|90045|123 A
..
