grok mutate gsub的语法以单引号替换双引号
需要帮助 使用logstash时，使用"grok mutate gsub"将双引号替换为单引号的语法是什么. 谢谢 解决方案 您想要这个吗? mutate过滤器会将所有双引号更改为单引号. filter { mutate { gsub => ["message","\"","'"] } }
..
logstash相关内容
将MongoDB与ElasticSearch同步
我想将我的MongoDB数据同步到ElasticSearch，我读了很多关于Elasticsearch River插件和mongo连接器的文章，但是所有这些都已在mongo 4和elasticsearch 7中弃用了！ 由于logstash是专有软件，我想使用它来同步两者...任何人都知道如何做到这一点? 解决方案 您可以将MongoDB和Elasticsearch与Logstash
..
Django Logstash的日志记录格式
我正在尝试将django应用程序配置为以Logstash易于使用的格式写入日志. (灵感来自Node的Winston日志记录程序包) Logstash需要一个JSON对象，其日志消息的键为"@message"，时间戳为"@timestamp".有谁知道如何格式化Django日志? 到目前为止，我有与django文档中类似的内容. LOGGING = { 'version'
..
正则表达式，使用logstash grok过滤器提取文件路径的一部分
我对正则表达式并不陌生，但我认为这里的人可能会给我提供宝贵的意见.我正在使用logstash grok 过滤器，在其中只能提供正则表达式 我有一个像这样的字符串 /app/webpf04/sns882A/snsdomain/logs/access.log 我想使用正则表达式从字符串中获取sns882A部分，该字符串是第三个"/"之后的子字符串，我该怎么做? 我只能使用正则表达
..
Logstash可以同时处理多个输出吗?
我对logstash和弹性搜索非常陌生.我正在尝试将日志文件存储在elasticsearch和平面文件中.我知道logstash支持两个输出.但是它们是否同时处理?还是通过工作定期完成? 解决方案 是的，您可以通过在发件人配置中使用"add_tag"命令标记和克隆输入内容来做到这一点. input { tcp { type => "linux" port => "50
..
多个Grok过滤器未存储第一个过滤器匹配记录
我正在使用Logstash解析后缀日志.我主要致力于从后缀日志中获取退回的电子邮件日志，并将其存储在数据库中. 为了获取日志，首先我需要找到由postfix生成的与我的message-id相对应的ID，然后使用该ID，我需要查找电子邮件的状态.对于以下配置，我能够获取日志. grok { patterns_dir => "patterns" match =>
..
如何编写Logstash过滤器以过滤kafka主题
我想使用kafka作为输入，并使用logstash作为输出.我将几个主题输入logstash，并希望根据主题进行过滤.我试图写这样的代码: input { kafka { bootstrap_servers => "localhost:9092" topics => ["test", "payment"] } } filter {
..
无法运行Logstash配置文件(权限被拒绝)
我的配置文件存储在 /etc/logstash/ 我运行了命令 $ /etc/logstash -f /etc/logstash/logstash.conf 以root用户身份. 但是，他们告诉我，当我尝试这样做时，权限被拒绝.有什么办法解决这个问题? 解决方案 如上所述，您需要运行/opt/logstash/bin/logstash -f /etc/logst
..
在logstash中屏蔽信用卡号的中间6位数字
要求以logstash显示开头的6位数字和结尾的4位数字，并掩盖信用卡的剩余数字.我应用了gsub/mutate过滤器，但替换字符串不允许使用正则表达式.还有其他方法可以在logstash中完成吗? if [message] =~ '\d{16}' { mutate { gsub => ["message", "\d{6}\d{4}\d{4}", "\d{6}####
..
来自HTTP输出插件的Logstash Capture HTTP响应
我写了一个logstash程序，将一些消息发布到URL. logstash没有错误，但我想知道是否有一种方法可以捕获来自url的响应，我们使用http输出插件发布了什么? output { stdout { codec => json_lines } http{ url => "Rest URl"
..
如何根据日期在logstash中删除给定事件?
我有一个Kafka JSON流，我将其设置为Logstash中的输入. 我想删除日期早于给定日期(例如今天的午夜)的事件. 我可以正确解析输入(它是json，因此是默认设置)，并且可以使用json编解码器将其打印到stdout. 如何过滤日期?是否有类似的东西: filter { if [date]
..
等待node.js，直到使用容器准备好Logstash
我在docker-compose.yml中具有以下设置: .... logstash: container_name: logstash image: docker.elastic.co/logstash/logstash:6.2.4 node: container_name: node build: context: ./node/ dockerfile
..
如何监视LogStash是否已满载?
我正在使用LogStash收集我的服务的使用日志.我想知道我是否知道LogStash是否已完全加载，是否应该添加更多服务器来处理日志?我不想错过任何日志. 任何建议都会有所帮助，在此先感谢:) 解决方案 首先，Logstash仅解析日志并将日志事件发送到存储位置，例如:Elasticsearch！ 如果您将Elasticsearch用作日志存储，则可以尝试安装奇迹. 它是ela
..
Logstash输入文件名作为输出elasticsearch索引
有没有办法让logstash读取文件的文件名作为输出到ElasticSearch的索引名? 我正在为logstash使用以下配置. input{ file{ path => "/logstashInput/*" } } output{ elasticsearch{ index => "FromfileX" } } 我希
..
Docker容器无法将日志发送到Docker ELK堆栈
我部署了ELK堆栈和Spring Boot应用程序的另一个分离的Docker容器. 在Java应用程序中，我使用LogstashSocketAppender将日志发送到Logstash. 如果Java应用程序在没有docker的情况下独立运行，则可以正常运行. 但是当它作为docker容器运行时，logstash无法接收日志. 有人可以帮我弄清楚吗? logstash配置
..
logstash找不到log4j2.properties文件
我一直在尝试建立概念证明Elasticsearch/kibana/logstash环境，但目前无法正常工作. LOGSTASH_HOME是: c:\_work\issues\log4j_socketappender\logstash-5.0.1\ 在logstash的控制台日志中，我找到了以下行: Could not find log4j2 configuration at
..
Logstash-无法打开< file_path>没有权限
我正在使用logstash将所有文本日志从存储推送到弹性搜索. 我的存储大小约为1 TB.首先，我已经开始将368 GB数据(可能是几十万个文件)推入弹性搜索，但是logstash失败并出现以下错误. {:timestamp=>"2014-05-15T00:41:12.436000-0700", :message=>"/root/share/archive_data/sessionLogs/
..
Logstash创建和访问阵列
我想在用于设备的logstash配置文件中创建一个数组，然后通过该数组访问我正在创建的新字段的值.例如: filter { array_devicetype => ["Cisco ASA", "Cisco 3750"] mutate { add_field => { "Device Type" => "%{array_devicetype[0]}"
..
无法连接回退(async(tcp://ip:5044)):拨打tcp ip:5044:I/O超时
Filebeat在机器B上运行，该文件读取日志并在机器A上推送到ELK logstash. 但是在Machine B filebeat日志中，它显示错误i/o timeout 2019-08-24T12:13:10.065+0800 ERROR pipeline/output.go:100 Failed to connect to backoff(async(tcp://e
..
Logstash 5.1.1“错误的URI(不是URI?)"
错误: c:\ Program Files文件\ Logstash \ bin> logstash.bat -e'输入{stdin {}} 输出{stdout {}}'发生意外错误！ :错误=>错误的URI (不是URI吗?):文件://c:/程序文件/Logstash/配置/ log4j2.properties ，: backtrace => ["C:/程序文件/Logstash/ 供应商
..