日志堆栈中的ElasticSearch_UPDATE_BY_QUERY错误[HTTP输出失败]遇到非2xx HTTP代码400
Working_UPDATE_BY_QUERY调用- POST /s1test-demo7/_update_by_query { "script": { "source": "ctx._source.externaldata = params.externaldata", "lang": "painless", "params": {
..
logstash-configuration相关内容
Logstash配置，如果字符串包含."；
那么，让我们假设我有一个日志行的一部分，如下所示： GET /restAPI/callMethod1/8675309 get与http方法匹配，Get被提取，其余部分与URI匹配，也被提取。现在，在logstash配置中，让我们假设我想要执行如下操作. if [METHOD] == "GET" { if [URI] (CONTAINS
..
弹性搜索输出插件的 Logstash sprintf 格式不起作用
我在使用 sprintf 引用 elasticsearch 输出插件中的事件字段时遇到问题，我不知道为什么.下面是从Filebeat接收到过滤完成后发送到Elasticsearch的事件: {“节拍"=>{“主机名"=>"ca86fed16953",“名称" =>"ca86fed16953",“版本" =>“6.5.1"},“@timestamp" =>2018-12-02T05:13:21.8
..
Logstash 未从 MySQL 读取新条目
我在我的 Windows 7 机器上本地安装了 Logstash 和 Elasticsearch.我在 Logstash 中安装了 logstash-input-jdbc. 我在 MySql 数据库中有数据，我使用 Logstash 将这些数据发送到 Elasticsearch，以便我可以生成一些报告. 执行此操作的 Logstash 配置文件. 输入{数据库{jdbc_driver
..
我应该如何在 logstash 中使用 sql_last_value?
我不太清楚 sql_last_value 在我给出我的陈述时做了什么: statement =>"SELECT * from mytable where id > :sql_last_value" 我可以稍微理解使用它的原因，它不会浏览整个数据库表来更新字段，而是只更新新添加的记录.如果我错了，请纠正我. 所以我想要做的是，使用 logstash 创建索引: 输入{数据库{jdbc_c
..
logstash jdbc 上的多个输入
我正在使用 logstash jdbc 来保持 mysql 和 elasticsearch 之间的同步.它可以很好地用于一张桌子.但现在我想为多个表做这件事.我是否需要在终端中打开多个 logstash agent -f/Users/logstash/logstash-jdbc.conf 每个都有一个选择查询，或者我们有更好的方法来做，以便我们可以更新多个表. 我的配置文件 输入{数据
..
如何使用 Kafka 在 logstash 中保留日志更长时间?
目前我使用 redis -> s3 -> elastic search -> kibana stack 来管理和可视化我的日志.但是由于弹性搜索中的数据量很大，我可以将日志保留长达 7 天. 我想在这个堆栈中引入 kafka 集群并将日志保留更多天数.我正在考虑关注堆栈. 应用程序节点将日志传送到 kafka -> kafka 集群 -> elastics 搜索集群 -> kibana
..
在Logstash中定义多个输出，同时处理Elasticsearch实例的潜在不可用性
我为Logstash配置了两个输出，因为我需要将数据传递到位于不同位置的两个单独的Elasticsearch节点. 下面是该配置的摘要(在需要的地方已编辑): 输出{elasticsearch {主机=>[" https://host1.local:9200"]cacert =>'/etc/logstash/config/certs/ca.crt'用户=>XXXXX密码=>XXXXX索引=
..
有什么办法可以将Logstash中的JSON数据展平
我的JSON {" foo1":{“数字":1，"type":"progrss"，" submit_time":"2020-10-04"，"id_type":"2153707"，"order_id":"1601849877"，" foo2":[{"t1":"xyz"，"t2":"qwe"，"t3":"yty".}]，" order_date":"2020年9月19日"，"shipping_da
..
Logstash无法读取文件
我第一次使用Logstash.我在Windows 10上我尝试从这样的input/文件夹访问多行json文件: 输入{文件{编解码器=>多行{模式=>'^/{'否定=>真的什么=>以前的}路径 =>"/input/*.json"排除=>"* .gz"}}筛选{变异{替换=>["message"，“％{message}"]]gsub =>['message'，'\ n'，'']}如果[消息] =〜
..
使用Logstash从具有文件输入插件的远程计算机上读取日志文件
目前我的日志和logstash运行在同一台计算机上，因此我使用此配置(使用拉模型)读取了放置在本地计算机上的日志 输入{文件 {路径 =>"/home/桌面/Logstash输入/**/* _ log"start_position =>“开始"}} 现在，我们在另一台计算机上运行了logstash，并希望读取日志远程机器. 是否可以在配置文件的文件输入中设置IP? 编辑:我设法通
..
Logstash无法从文件输入中读取
我正在运行 ELK堆栈的此实现，这非常简单明了配置. 我可以使用netcat将TCP输入推入堆栈，如下所示: nc localhost 5000
..
Nginx grok模式的logstash
以下是我的 Nginx日志格式 log_format timed_combined'$ http_x_forwarded_for-$ remote_user[$ time_local]''"$ request" $ status $ body_bytes_sent''"$ http_referer""$ http_user_agent"''$ request_time $ upstream_
..
每天在Logstash配置中为Elasticsearch创建一个新索引
我打算进行ELK堆栈设置，将每天的JSON输入存储在创建的日志文件中，每个日期存储一个.我的logstash将通过这些日志监听输入，并将其存储在Elasticsearch中，该索引对应于日志文件条目的日期. 我的 logstash-output.conf 类似于: 输出{elasticsearch {主机=>本地主机群集=>"elasticsearch_prod"索引=>“测试"}}
..
无法将JSON从PostgreSQL插入elasticsearch.得到错误-“执行JDBC查询时发生异常"
我正在尝试将数据从Postgresql服务器迁移到elasticsearch.postgres数据为JSONB格式.在上河时，出现以下错误. [INFO] [logstash.agent]成功启动Logstash API端点{:port => 9600}[2019-01-07T14:22:34,625] [INFO] [logstash.inputs.jdbc](0.128981s)从st
..
Logstash解析来自两个不同文件拍输入的数据
我有一台机器上设置了Elasticsearch和Logstash，并通过Filebeat从另一台机器上发送了日志.我想添加一台新机器，可以从中将日志发送到Logstash，对其进行解析并存储在相同的Elasticsearch索引中. 我试图用相同的Logstash输出在新计算机上配置filebeat，但似乎logstash无法从多个来源接收数据... logstash配置文件:
..
logstash json发布输出
我目前正在尝试使用tcp输入在JavaScript上发布日志到Logstash. JavaScript帖子 xhr = new XMLHttpRequest(); var url = "http://localhost:5043"; xhr.open("POST", url, true); xhr.setRequestHeader("Content-type", "applic
..
logstash 5.0.1:为多个kafka输入主题设置elasticsearch多个索引输出
我有一个logstash输入设置 input { kafka { bootstrap_servers => "zookeper_address" topics => ["topic1","topic2"] } } 我需要在Elasticsearch中将主题输入两个不同的索引中.谁能帮助我解决应如何设置此任务的输出.目前，我只能设置 output { elasti
..
grok匹配模式的常用正则表达式
我需要通用的 RE 来表示以下值 Invoice_IID: 00000000-4164-1638-e168-ffff08d24460 Invoice_IID 00000000-4164-1638-e168-ffff08d24460 invoice iid 00000000-4164-1638-074f-ffff08d24461
..
如何将cassandra与logstash输入连接?
Logstash.conf 输入{tcp {端口=> 7199}}输出{elasticsearch {主机=> [“本地主机"]}} 在7199端口上运行的Cassandra和在localhost:8080上运行的jhipster应用程序. 我们无法通过my_application添加到logstash 未找到log4j2文件. 解决方案 我遇到了同样的问题.通过从 Da
..