logstash相关内容

Logstash-指定多个管道

我希望以不同的方式处理不同的字段. 我有两个管道.一种是处理布尔值，另一种是将字符串转换为数组. 输出{标准输出{编解码器=>红宝石}elasticsearch {动作=>“指数"主机=>["127.0.0.1:9200"]索引=>"mini_system"document_id =>“％{mini_system_key}"如果[source] =="secure_flag" {管道=>“ ..

发布时间：2021-05-03 20:39:25 elasticsearch logstash 其他开发

弹性搜索使用上下文加载csv数据

我有3百万条记录.标头是值，类型，other_fields .. 在这里，我需要像此 我需要在记录中为该 value 指定 type 作为上下文.有什么办法可以通过日志存储做到这一点?或其他任何选项? val，val_type，id桑尼维尔IT实验室卖家12223667 解决方案 为此，我将使用新的 提取后，文档将如下所示: {"val_type":“卖方"，"id ..

发布时间：2021-05-03 20:37:59 elasticsearch logstash 其他开发

Logstash的流式传输行为不一致-ELK

我有一个包含几个平面字段和几个嵌套字段的索引.我正在尝试通过Logstash将SQL Server中的信息通过特定的ID通过Logstash流到嵌套字段中.当我仅流传输一个 Id ID的数据时，它就可以完全成功地通过，而不会出现任何问题.另一方面，当我尝试流式传输多个ID的数据时，由于某种原因，插入到索引中的信息是不完整的.注意:查询按ID排序.而且，在流式传输数据的不同尝试中，获得了不同数量的信 ..

发布时间：2021-05-03 20:37:56 elasticsearch logstash elastic-stack elk 其他开发

如何在logstash中设置日期字段的特定日期?

当我给 + EEEE 添加字段时，我的数据中有一个日期字段，其配置为 2019-07-26T16:04:56.853Z >，它给出了时间戳记的日期，但没有给出所需的输出. add_field =>{"[工作日]" =>“％{+ EEEEE}"} 我需要将 2019-07-26T16:04:56.853Z 的date字段的输出指定为星期五，但要提供时间戳记的日期. 解决方案 假设您在 ..

发布时间：2021-05-03 20:35:29 elasticsearch logstash logstash-grok 其他开发

将文件添加到elasticsearch(如果不存在)

我使用logstash将每天生成的日志中的一些数据传输到elasticsearch，我的logstash输出部分如下所示: action =>创建参数，如果已经存在具有该ID的文档，则该文档不会被索引 输出{elasticsearch {...动作=>“创造"}} ..

发布时间：2021-05-03 20:34:28 elasticsearch logstash logstash-file 其他开发

尝试启动Logstash时如何解决问题“不支持的major.minor版本52.0"

我想在服务器中启动Logstash服务，但是当我尝试启动时，出现警告信息日志.这个问题解决了吗? 我所有的设置都与Web上的信息相同，从startup.option，jvm.option，logstash.yml和logstash-sample.conf上的配置开始，但是当我尝试启动时，它会出现以下错误:> [root @ CDS01〜/logstash] $./bin/logstas ..

发布时间：2021-05-03 20:33:49 elasticsearch logstash filebeat 其他开发

替换字段名称中的点

早上好 致力于升级到最新版本的ELK堆栈，并遇到字段映射问题.我的原始数据中有类似以下内容的内容: {"_index":"logstash-2016.04.21"，“1级" : {"level2":{"1":"somevalue"，"1.1":"somevalue1"}}} 众所周知，elasticsearch 2.X不喜欢字段名称中的点(.)，而是弄乱了点符号.因此，作为Elast ..

发布时间：2021-05-03 20:33:34 elasticsearch logstash 其他开发

ElasticSearch索引编制问题，无法解析时间戳

我是ELK的新手.我已经在Elasticsearch中创建了索引 {"logstash":{“别名":{}，“映射":{“日志": {"dynamic_templates":[{"message_field":{"path_match":“消息"，"match_mapping_type":“字符串"，“映射":{“规范":false，"type":“文字"}}}，{"string_fields ..

发布时间：2021-05-03 20:31:51 datetime elasticsearch logstash jodatime 其他开发

Logstash文件名作为ElasticSearch索引

我正在使用文件夹作为输入: 输入{文件 {路径=>"C:/ProjectName/Uploads/*"start_position =>“开始"sincedb_path =>"dev/null"}} 并作为输出: 输出{elasticsearch {主机=>“本地主机"索引=>"manual_index_name"#在此处想要文件名document_type =>"_doc"}} 我希 ..

发布时间：2021-05-03 20:27:20 elasticsearch logstash 其他开发

Logstash mutate从json添加所有字段

我正在使用Logstash插件(logstash-input-rethinkdb).该插件获取数据库中的所有编辑内容，并输出一个包含以下结构的json对象: {"db":"itjobs"，"table":“国家"，"old_val":为空，"new_val":{“代码":"USA3"，"country":"USA3"，"id":"7c8c9e4e-aa37-48f1-82a5d624cde4a ..

发布时间：2021-05-03 20:26:58 elasticsearch logstash rethinkdb 其他开发

每天在Logstash配置中为Elasticsearch创建一个新索引

我打算进行ELK堆栈设置，将每天的JSON输入存储在创建的日志文件中，每个日期存储一个.我的logstash将通过这些日志监听输入，并将其存储在Elasticsearch中，该索引对应于日志文件条目的日期. 我的 logstash-output.conf 类似于: 输出{elasticsearch {主机=>本地主机群集=>"elasticsearch_prod"索引=>“测试"}} ..

发布时间：2021-05-03 20:25:18 elasticsearch logstash logstash-configuration 其他开发

无法将JSON从PostgreSQL插入elasticsearch.得到错误-“执行JDBC查询时发生异常"

我正在尝试将数据从Postgresql服务器迁移到elasticsearch.postgres数据为JSONB格式.在上河时，出现以下错误. [INFO] [logstash.agent]成功启动Logstash API端点{:port => 9600}[2019-01-07T14:22:34,625] [INFO] [logstash.inputs.jdbc](0.128981s)从st ..

发布时间：2021-05-03 20:23:22 postgresql elasticsearch logstash logstash-configuration 其他开发

使用Logstash将数据从mongoDB同步到elasticsearch

我正在尝试将mongoDB数据库同步到elasticsearch.我正在使用 logstash-input-mongoDb 和[“本地主机:9200"]}} 输出到弹性: {//一些元数据A_B:"sometext"，A_C_G:"someText"，A_C_H:“一些文字"，log_entry:“包含插入到mongoDB的完整文档"} 我们没有在弹性中获得mongo集合的属性D.希 ..

发布时间：2021-05-03 20:22:29 mongodb elasticsearch plugins logstash 其他开发

在ElasticSearch中以微秒格式保存日期

我正在尝试使用带有Logstash的jdbc输入插件将MySQL数据库中的事件集保存到弹性搜索中.数据库中的事件记录包含微秒格式的日期字段.实际上，数据库中有几微秒之间的记录. 在导入数据时，Elasticsearch会将微秒日期格式截断为毫秒格式.如何保存微秒格式的数据?elasticsearch文档说，他们遵循JODA时间API来存储日期格式，该格式不支持微秒，并且在时间戳的末尾添加 Z ..

发布时间：2021-05-03 20:21:28 datetime elasticsearch logstash elasticsearch-mapping logstash-jdbc 其他开发

Logstash XML解析失败

我正在deviantony/docker-elk映像上运行最新的ELK堆栈6.6.我有以下XML文件，尝试将其解析为ES JSON对象: 7290027600007 001 001 ..

发布时间：2021-05-03 20:20:31 xml elasticsearch logstash elastic-stack 其他开发

Kibana Logstash弹性搜索|无法搜索未索引字段

我正在研究ELK堆栈并遇到问题. 我已生成日志，将日志转发到logstash，日志采用JSON格式，因此仅使用Logstash配置中的JSON过滤器将它们直接推入ES，连接并启动指向ES的Kibana. Logstash配置: 过滤器{json {来源=>“消息"} 现在我为每天的日志创建了索引，而Kibana高兴地显示了来自所有索引的所有日志. 我的问题是:日志中有许多字 ..

发布时间：2021-05-03 20:18:53 elasticsearch logstash kibana 其他开发

如何将ElasticSearch与MySQL集成?

在我的一个项目中，我计划将ElasticSearch与MySQL一起使用.我已经成功安装了ElasticSearch.我能够单独管理ES中的索引.但是我不知道如何使用MySQL来实现相同的功能. 我已经阅读了一些文档，但是我有点困惑，没有一个清晰的主意. 解决方案 最后，我找到了答案.分享我的发现. 要将ElasticSearch与Mysql一起使用，您将需要Java数据库连接 ..

发布时间：2021-05-03 20:15:20 mysql elasticsearch logstash elasticsearch-5 elk 数据库

wildfly-logstash不会将日志发送到logstash

我正在使用jboss/keycloak:11.0.2和wildfly-logstash( https://github.com/kifj/wildfly-logstash )，用于将日志从Wildfly传输到Logstash.当logtash早于wildfly出现时，我遇到了问题，在这种情况下，日志没有发送到logstash.有时我会看到这样的日志 myHost:名称或服务未知.记录器不会尝试重新 ..

发布时间：2021-05-02 19:45:39 docker jboss logstash wildfly keycloak 其他开发

Docker-compose链接vs external_links

我相信这是一个简单的问题，但是我仍然无法从Docker组成的文档中得到它.链接和external_links有什么区别? 我喜欢external_links，因为我想拥有docker-compose核心，并且我想扩展它而不覆盖核心链接. 我到底有什么，我正在尝试设置logstash，具体取决于elasticsearch.Elasticsearch位于核心docker-compose中， ..

发布时间：2021-05-02 19:12:05 elasticsearch docker logstash docker-compose 其他开发

附加json logstash elasticsearch数组

我如何使用csv中的logstash在带有json对象的elasticsearch上附加数组 csv的示例 csv包含行 id，key1，key21，toto1，toto21，titi1，titi22，tata1，tata2 结果应为2个文档 {"id":1[{"key1":"toto1"，"key2":"toto2"}，{"key1":"titi1"，"key2":"ti ..

发布时间：2021-04-27 19:52:51 csv elasticsearch logstash 其他开发