elasticsearch相关内容

使用logstash将整个数据库保存到ElasticSearch

我是ELK新手,目前正在做的是: 使用configuration.conf文件设置logstash中的jdbc(输入>过滤>输出) 对于在logstash配置文件中具有单独input{}的每个MySQL查询 或使用pipilines.yml让单独的配置文件在单独的线程中运行(即每个MySQL查询都有(存储在)不同的配置文件中) 为管道运行命令logstash -f config.con ..
发布时间:2022-02-27 13:47:34 数据库

引导索引设置为写入索引,但日志将写入旧索引

容器日志在Kubernetes上运行Elastic+Fluentbit+Kibana堆栈,基于日期(NEW-YYYY-MM-DD)的每日翻转正常,但在大容量时会导致分片过大问题,所以创建了下文提到的ILM策略,以便快速翻转。引导索引是可写的,但仍在写入旧索引(NEW-YYYY-MM-DD),而不是新索引NEW-YYYY-MM-DD-000001。我已经提过尝试过的事情,但还没有成功。 Cre ..
发布时间:2022-02-27 13:44:10 其他开发

用于全局变化子索引模式的Logstash配置

我有一个ELK堆栈,带有一些已配置的索引模式。作为内部需求的一部分,我需要将一个json对象(它是该索引模式的一部分)全局编辑为";string";。 到目前为止,这样的json对象是由许多子字段随机填充的,比如";date";、";temps";以及更多的子字段。 所有这些都由ELK自动管理,但我需要将它们全部处理并转换(强制转换)为&q;字符串& ..
发布时间:2022-02-27 13:39:19 其他开发

如何将GCP上的Kubernetes引擎连接到外部Google云存储Bucket?

我在GCP上的Kubernetes集群上部署了一个Pod。我使用永久卷,使用PVC作为卷装载。 我需要将驻留在Google云存储存储桶中的数据(.doc文件)输入Pod的数据路径。 如何装载此外部存储或将数据插入Pod? 我要求这是实时连接或定期发生注入。 推荐答案 我找到了一种方法,可以将谷歌云存储桶挂载到Kubernetes中- 必须将GCS Fuse内置于映像中,然后 ..

更新ElasticSearch坞ker容器Mac主机的max_map_count

我正在使用this容器在docker中启动elasticsearch。根据manual,我必须更新max_map_count才能启动容器 sudo sysctl-w vm.max_map_count=262144 但是..我可以在启动之后在我的主机(容器)中更新它,但是我无法启动它。我做错什么了吗? 错误:引导检查未通过最大虚拟内存区域 vm.max_map_count[6553 ..
发布时间:2022-02-24 21:30:27 其他开发

将 Elasticsearch Java REST API 与自签名证书一起使用

我想使用 Java REST API (RestHighLevelClient) 通过 HTTPS 与 Elasticsearch 5.6 服务器进行通信.但是,服务器的证书是自签名的,当我尝试连接时,它会引发 SSLHandshakeException. 有没有办法将 REST 客户端配置为接受自签名证书? 解决方案 我使用自定义 Java Key Store 来实现这个功能.这是 ..
发布时间:2022-01-25 10:46:06 Java开发

标准 debian 安装中 elasticsearch 的数据文件在哪里?

现在我处于一个非常有问题的境地...... 我的数据服务器被黑了,现在我无法通过 curl 或任何其他方法请求我的 elasticsearch 服务器.我有一堆非常关键的数据尚未备份(晚了 2 天,见鬼,我没有看到备份失败的警报). 我试图重新启动服务,但没有办法,它什么也没说,当我用 ps 观看时,我在进程中什么也得不到.我认为这来自我的主机,它以安全模式运行我的服务器...... ..
发布时间:2022-01-24 22:56:25 其他开发

如何在 ElasticSearch 中组合多个查询

这里是代码供参考.我正在尝试制作一个 hubot 插件,该插件记录到 elasticsearch,然后使用 hubot 命令搜索这些日志. https://gist.github.com/4050748 我正在尝试检索匹配两个查询的记录. {询问: {比赛: {用户:“一些用户名"},范围: {日期: {来自:(Date.now() - 3600)}}},尺寸:50} 我期待: ..
发布时间:2022-01-24 10:53:54 其他开发

ElasticSearch 更新不是即时的,你如何等待 ElasticSearch 完成更新它的索引?

我正在尝试提高针对 ElasticSearch 进行测试的套件的性能. 测试需要很长时间,因为 Elasticsearch 不会在更新后立即更新它的索引.例如,以下代码运行时不会引发断言错误. 从弹性搜索导入弹性搜索elasticsearch = Elasticsearch('es.test')# 假设这是一个干净空的 elasticsearch 实例弹性搜索更新(索引='博客',doc_ ..
发布时间:2022-01-22 20:10:41 Python