如何为logstash编写自定义grok
我正在尝试测试一些自定义日志过滤器的logstash，但由于某种原因我无法获得它，我用google搜索了许多示例，但无法创建我想要的示例. 以下是我的日志格式: testhost-in2,19/01/11,06:34,04-mins,arnav,arnav 2427 0.1 0.0 58980 580 ? S 06:30 0:00 rm -rf /test/ehf/users/arna
..
logstash相关内容
Instagram Streaming API的Logstash输入插件
我想从Instagram阅读事件.我想知道是否可以使用Logstash类似于使用Twitter输入插件从Twitter读取事件，但是没有适用于Instagram的输入插件.还有其他使用Logstash收集Instagram数据的方法吗? 谢谢！ 解决方案 Instagram 具有API ，您绝对可以尝试使用 http_poller 插件. 类似这样的东西: input {
..
Logstash经过的过滤器
我正在尝试在ELK堆栈中使用elapsed.rb过滤器，但似乎无法弄清楚.我对grok不太熟悉，我相信这就是我的问题所在.有人可以帮忙吗? 示例日志文件: { "application_name": "Application.exe", "machine_name": "Machine1", "user_name": "testuser", "entry
..
Logstash KV筛选器问题具有空白值
我在logstash配置中使用了kv过滤器，并且我有一个看起来像这样的字符串: key1="value1" key2="" key3= key4=1 请注意，key3没有值；导致将key3分配为"key4=1"的值 我该如何解决? 解决方案 这可能不是最好的解决方案，因为我们盲目地进行了替换: mutate { gsub => [ "message
..
Logstash jdbc左外部联接作为子文档
我正在使用Logstash jdbc插件将MySQL数据导入ElasticSearch.由于左外部连接，我最终为单个“父行"得到了多个“子行".假设1个用户拥有1个或多个文档.我尝试对文档的文本进行group_concat，然后按用户ID分组，以每位用户保留1行. 但是，MySQL的group_concat的长度限制为1024 ... 有人知道完全克服group_concat并将左外部
..
Apache Spark:纱线日志分析
我有一个流媒体应用程序，我想使用Elasticsearch-Kibana分析作业日志.我的工作是在纱线簇上运行的，因此将yarn.log-aggregation-enable设置为true时，日志已写入HDFS.但是，当我尝试执行此操作时: hadoop fs -cat ${yarn.nodemanager.remote-app-log-dir}/${user.name}/logs/
..
Logstash-filter-rest发送的字段引用不正确，它始终引用已引用的第一个字段值
我最近使用 logstash-filter-rest ，并按如下所示进行配置: rest { url => "http://example.com/api" sprintf => true method => "post" params => { "post_key" => "%{a_field_in_log}" } respons
..
无法识别Get-Content命令
我们有通常在unix环境中执行的脚本. 以下是脚本中的一行: command => 'use/bin/tail -n 1 %{path} | grep --silent -F "%{message}" && rm -f {path}' 在PowerShell中运行时，显然无法识别use/bin/tail路径.作为替代方案，我尝试了以下方法: command => 'Get-Cont
..
Logstash Grok过滤器配置，用于php monolog多行(stacktrace)日志
[2018-02-12 09:15:43] development.WARNING: home page [2018-02-12 09:15:43] development.INFO: home page [2018-02-12 10:22:50] development.WARNING: home page [2018-02-12 10:22:50] development.INFO
..
如何使用logstash将mongo与elasticsearch连接?
我想将mongodb与elasticsearch连接起来.我已经使用过logstash-input-mongodb插件，但这并不会占用我的elasticsearch数据更新.因此，当我在mongodb更新文档时，elasticsearch不会更改它.我已经在网上搜索过，但是找不到解决方法?是虫子吗? 您建议我使用其他哪些插件或工具来建立连接? 解决方案 您可以尝试 mongoosastic
..
Logstash conf错误-Amazon_es
我正在尝试第一次配置我的logstash.conf文件，并输出到amazon_es. 我的整个 logstash.conf 文件在这里: input { jdbc { jdbc_connection_string => "jdbc:mysql://localhost:3306/testdb" # The user we wish to execute our st
..
Logstash在一个日志文件中处理多种文本格式
我正在使用ELK(filebeat，logstash，elasticsearch，kibana)进行日志管理.在一个日志文件中，我有三种格式.我正在使用 在一种格式中，我有date + parameters + json + stacktrace.这种格式的文本有多行. 在第二种格式中，它只是date + requestMethod(获取或发布)+一些文本.它在一行中. 在第三种格式中，它具
..
如果日志包含特定单词，则忽略并移至下一个模式
我有一个来自spring日志文件的日志文件.日志文件具有三种格式.前两种格式中的每一种都是一行，如果有关键字app-info，则它们之间是单行，这是由自己的开发人员打印的消息.如果否，则由spring框架打印.我们可能会把开发者的信息与Spring框架的信息区别开来.第三种格式是多行堆栈跟踪. 我们有一个自己格式的示例，例如 2018-04-27 10:42:49 [http-nio-
..
如何修复“不允许重复的扩展名"?用logstash/jruby?
我正在运行起始页中所述的logstash: java -jar logstash-1.2.1-flatjar.jar agent --config logstash-dev.conf 使用logstash-dev.conf就像这样: input { file { path => ["/tmp/catalina.jsonevent.log"] codec => j
..
更正输入日志的正则表达式
输入日志如下所示，其中包含"|"数据精打细算.数据包含id |类型要求|响应 110000|read|
..
查看多条消息并使用不同的标签处理它们
我想在Logstash(版本2.4)中创建一个过滤器，并且在同一grok中具有不同的匹配项. 我想根据匹配添加不同的标签. 基本上，我收到三种不同的消息模式: "## MAGIC ##％消息" "## REAL ##％消息" “％信息" 我想做的是: grok { match => {"message" => "##MAGIC##%{GREEDYDATA:magic_message}"}
..
Logstash不处理filebeat发送的文件
我已经使用docker建立了麋鹿堆栈基础架构. 我看不到logstash正在处理文件. Filebeat配置为将.csv文件从logstash发送到logstash，并发送到elasticsearch.我看到了logstash filebeat列表器凝视着. Logstash到Elasticsearch管道有效，但是没有编写文档/索引. 请告知 filebeat.yml
..
使用Logstash从Elastic Search中删除旧文档
我正在使用logstash将数据从postgres(jdbc输入插件)索引到elasticsearch.我在数据库中没有任何基于时间的信息. 用户要导入的Postgres表有2列-userid(unique)，uname 弹性搜索导出-_id =用户ID 我每小时都会在Logstash中使用Cron Schedule导出此数据. input { jdbc { sc
..
Logstash:如何从较早的日志中保存一个条目，以便以后在日志中的多行中使用?
所以我的日志格式看起来像这样 02:00:30> First line of log for date of 2014-08-13 ... 04:03:30> Every other line of log 我的问题是:如何从第一行保存日期以为文件中的其他行创建时间戳? 是否可以设置某种“全局"字段以供其他行重用? 我正在查看历史日志，因此当前时间用处不大. 解决方案
..
使用HTTPS +基本身份验证让Logstash与Elastic Search对话
我将弹性搜索作为 ELMA设备的一部分.该设备通过受基本身份验证保护的HTTPS呈现ES.我的Logstash在单独的计算机上运行.该Logstash需要将日志数据发送到ES.什么是正确的输出配置? 感谢任何指针. -Raj 解决方案 新版本中有一个选项: http: //www.elastic.co/guide/zh-CN/logstash/current/plugin
..