Fluentd SSL/TLS 保护 TCP 输出插件到通用接收器(Logstash)?
我一直在寻找用于 tcp 的 fluentd 输出插件，它也是 ssl 安全的，不会强制我的接收器来自特定类型.就我而言，我的接收者是 logstash. 以下是一些接近的插件(接近但没有雪茄): 转发输出 - 不支持 ssl 连接. 安全转发输出 - 仅将数据发送到另一个 fluentd 接收器. 有些是 https 插件，有些是特定的服务插件(需要某种令牌/用户/密码)
..
fluentd相关内容
Fluentd SSL/TLS 保护 TCP 输出插件到通用接收器 (Logstash)?
我一直在寻找 tcp 的 fluentd 输出插件，它也是 ssl 安全的，不会强制我的接收器来自特定类型.就我而言，我的接收器是 logstash. 以下是一些接近的插件(接近但没有雪茄): 转发输出 - 不支持 ssl 连接. 安全转发输出 - 仅将数据发送到另一个流畅的接收器. 有些是 https 插件，有些是特定的服务插件(需要某种令牌/用户/密码). 还有其
..
如何添加时间戳使用fluent进行elasticsearch的关键
我已经配置了fluentd和elasticsearch，并且它们都工作正常.我正在尾随一个文件，然后读取其数据并将其发布到elasticsearch.以下是json数据: {"time":"2018-05-14T11:37:30.339593"，"Data count":78，"Data status":“已发送"，"DataId":"332"} 及以下是流利的配置文件:
..
FluentBit-从Path_Key进行解析
当前，我使用Path_Key添加文件路径.我正在尝试获取Path_key中存在的多个变量. /var/log/containers/** Application_Name **-** Application_Version **.log 是否可以从现有的字段映射中提取这些值? 解决方案 要提取要在 Tag 中使用的值，这很简单，您可以输入以下内容: [INPUT]名字尾路径/va
..
bq加载中的错误“无法将值转换为字符串"
我尝试通过bq命令将日志从Google云端存储加载到BigQuery并且出现了错误“无法将值转换为字符串". 我的示例数据 {"ids":"1234,5678"}{"ids":1234} 我的示例架构 [{"name":"ids"，"type":"string"}] 似乎ID无法通过单引号的无引号进行转换.数据是用fluent-plugin-s3制作的，但是多个用逗号连接的I
..
使用fluentd进行docker日志记录时如何获取容器和图像名称?
我使用的是流利的容器，该容器安装了/var/lib/docker/containers目录，并尾随每个容器的所有日志.日志存储在/var/lib/docker/containers/$container_id/$container_id-json.log中.这些不包含容器名称或图像名称.我需要能够在单独的字段中将容器和图像名称添加到来自日志文件的每个日志中. 容器名称和映像名称都存储在/va
..
流利的尾巴插件:尾巴目录中的所有文件
Fluentd接受CSV文件名进行记录.但这也暗示了文件名的先验知识. type tail path /var/log/nginx/*.log tag logging format /^(?.+) \[(?[^\]]+)\] *(?.*)$/ time_format %Y/%m/%d %H:%M:%S
..
基于键值的流利的创建标签
将日志从Kubernetes运送到Fluentd聚合器. 是否有一种方法可以将键值之一转换为标签值?例如，有application_name的键值.如果可以将其转换为标签值，则可以将其定向到不同的输出. 谢谢 解决方案 一旦创建了记录，就无法编辑标签. 方法是使用重写标签过滤器重新发送记录 您可以执行以下操作:
..
为什么流利的JSON解析器无法正常工作?
我正在使用图像gcr.io/google-containers/fluentd-elasticsearch(v2.3.1)，以便使fluentd收集一些日志并将其发送到Elastic search.我将以下配置用于fluentd: type forward port {{.Values.fluentd.forward.port}} bind 0.0.0.0
..
kubernetes container_name在fluentdconfiguration中为空
我尝试从我的应用程序容器中获取日志，并将流利的日志代理附加为我的项目中的sidecar容器.我想获取哪个日志来自我的Kibana仪表板中的哪个应用程序.这就是为什么我能流畅地进行配置. @id fluentd-containers.log @type tail path /var/log/containers/mylog*.log pos_file /var
..
在fluentd中更改conf文件
我在kubernetes上流畅地配置了配置，并带有几个正在运行的Pod. 我想更改td_agent.conf文件，并添加另一个标签，但是，我无法在每个吊舱内更改conf文件.我该如何处理?我是否需要更改正在运行的Pod的yaml文件并重新运行它们? 解决方案 我是否需要更改正在运行的Pod的yaml文件并重新运行它们? 正确.问题在于，当您仅更改配置映射值时，它不会触发您的Pod
..
使用fluentd处理JSON内部的多级嵌套转义JSON字符串
我是流利的新手，我想解析JSON中的多级嵌套转义JSON字符串. 我的消息如下: {"log":"HELLO WORLD\n","stream":"stdout","time":"2019-05-23T15:40:54.298531098Z"} {"log":"{\"appName\":\"adapter\",\"time\":\"2019-05-23T15:40:54.299\",
..
Fluentd给出错误:启动服务器时，日志文件不可写
这是我的td-agent.conf文件 @type http port 8888 @type file path /var/log/what.txt 但是当我尝试使用来启动服务器时 sudo /etc/init.d/td-agent start 它给出了以下错误
..
Python的SyslogHandler和TCP
我试图理解为什么Python的日志记录框架(logging.handlers)中的SyslogHandler类没有实现RFC 6587描述的任何框架机制: 八位计数:它将消息长度“添加"到系统日志帧中: 不透明框架:用于分隔邮件的预告字符.这就是大多数服务器所能理解的. 可以通过在消息末尾添加LF字符来轻松解决此“问题"，但是我希望SyslogHandler默认会处理此问题:
..
外部命令使td-agent失败
此bash命令"etcdctl get system config/log/timestamp"返回UTC或系统时间类型.现在，我想用它来将时间转换为相同的格式.我怎样才能做到这一点? 我尝试过此操作，但它无法运行td-agent. @type exec command etcdctl get system config/log/timestamp
..
Fluentd在写入Elasticsearch之前未按预期进行过滤
使用: Elasticsearch 7.5.1. 有效1.11.2 Fluent-plugin-elasticsearch 4.1.3 Springboot 2.3.3 我有一个配置了一个附加程序的Logback的Springboot工件，除了应用程序STDOUT之外，该附加程序还将日志发送到Fluentd:
..
在kubernetes上进行流利的日志记录会跳过日志轮换上的日志
当前，我在kubernetes中具有以下架构: 在吊舱中，服务和小车容器(称为logger)正在运行. 服务写入文件，sidecar容器读取该文件并将其写入stdout. 将fluentd守护程序集配置为读取输出(收集在/var/log/containers/*_logger-*.log中的文件中，该文件是到另一个文件的链接(自上次文件旋转以来的最新文件，到较旧的文件，没有链接点) 总
..
如何流利地为index_name获取$ {kubernetes.namespace_name}?
是否有人设法获得kubernetes.namespace_name作为indexName?我试过了，它不起作用. index_name ${kubernetes.namespace_name}.%Y%m%d 解决方案 好吧，我在这里按标签做了，我不得不在称为 fluentd的对象(部署，statefulset等)上添加标签:"true" 示例: apiVersion: ap
..
流利的:一场比赛中有多种格式
我是Fluentd的新手.关于标记及其格式，我有一个问题.例如 我们的系统在同一标签:标签 上返回两种不同的格式: format1 和 format2 使用fluent.conf，我们可以捕获提供的标签，但无法将这两种格式分开 我尝试了 fluent-plugin-multi-format-parser 但不允许我添加前缀. @ty
..
是否可以将stdout用作流利的源来捕获特定日志以写入Elasticsearch？
我对fluentd和elasticsearch都不熟悉，我想知道fluentd是否有可能从stdout捕获特定日志（在这种情况下，是由我们的应用程序生成的自定义审核日志）-使用stdout作为源-并将它们写入elasticsearch中的特定索引。 解决方案 是的，您可以使用fluentd的 exec 输入插件可启动您的应用并捕获其标准输出。请注意，这意味着fluentd将负责启动您的应用
..