elastic-stack相关内容

具有分层类别,子类别的Elasticsearch聚合;限制水平

我有带有类别字段的产品。使用聚合,我可以获得所有子类别的完整类别。我想限制构面中的级别。 例如我有以下方面: 自动,工具和工具;旅行(115) 汽车,工具和工具;旅行>行李牌(90) 汽车,工具和电器旅行>行李牌>行李发现者(40) 汽车,工具及配件旅行>行李牌>其他(50) 汽车,工具和工具;旅行>汽车组织者(25) 使用 “ aggs”:{ “ cat_gr ..
发布时间:2020-10-28 18:41:48 其他开发

ElasticSearch 6,带有动态索引映射的copy_to

也许我遗漏了一些简单的东西,但仍然找不到以下内容: 从ES 6.x开始, _all 字段已弃用,建议使用 copy_to 指令( https://www.elastic.co/guide/en/elasticsearch/reference/current/copy-to.html )。 但是,我的印象是,您需要明确指定要复制到自定义 _all 字段。但是,如果我使用动态映射,则我不事 ..
发布时间:2020-10-28 18:41:41 其他开发

REDIS在ELK堆栈中的意义是什么?

我目前拥有文件发送器作为日志传送器的体系结构,该结构将日志发送到日志存储索引器实例,然后发送到AWS中的托管弹性搜索。由于存在持续的TCP连接,因此我无法使用AWS ELB多个日志存储索引器实例进行负载平衡,因为文件信号始终会选择这些实例并将其发送到那里。所以我决定使用redis。现在,了解扩展redis并使之在ELK堆栈中具有高可用性的组件有多么困难,我想问一下redis的意义是什么。我读了一百 ..
发布时间:2020-10-28 18:41:37 其他开发

通过python将弹性数据转储到csv或任何NOSQL中

我们知道,由于连接错误问题,我们无法通过弹性搜索从python中获取超过10000行。我想从我的弹性簇中获取两个小时的数据,并且每5分钟要进行10000次观测。 1。)有什么办法可以将弹性搜索中的数据直接转储到csv或计数超过10000的某些Nosql db中。 我用python编写代码。 我有Elasticsearch版本5 解决方案 尝试以下代码进行滚动查询 从 ..
发布时间:2020-10-28 02:45:47 Python

FileBeat收集问题

我们正在使用ELK来控制程序日志。 在我们的FileBeat配置中,我们从 30个不同的路径中进行收获,该路径包含每秒更新的文件(它仅在prod的机器中每秒更新一次-在其他Dev机器中,我们的日志大大减少了)。 我们的日志文件变旧后才会被删除,我们将停止使用它们(也不会在此修改名称)。 最近,我们发现配置文件(.yml)中来自生产机器的文件中最后路径的日志从未出现在Kibana中。 经 ..
发布时间:2020-10-28 02:45:43 其他开发

ElasticSearch聚合+在非数值字段5.3上排序

我想在另一个字段上聚合数据,还想根据名称以排序的方式获取聚合数据。 我的数据是: { “ _index”:“测试汇总”, “ _type”:“员工”, “ _id”:“ emp001_local000000000000001”, “ _score”:10.0, “ _source”:{ “ name”:[ “ Person 01” ], “ groupbyid”:[ “ group ..

尽管kibana.service正常启动,但Kibana停止工作,现在服务器未准备就绪

没有对我的Ubuntu进行任何重大系统更新( 4.4.0-142-通用#168-Ubuntu SMP ),Kibana 7.2.0停止工作。我仍然可以使用 sudo systemctl start kibana.service 启动服务,并且相应的状态看起来很好。只有警告,没有错误,这似乎不是问题所在: #sudo systemctl status kibana.service ●kiba ..
发布时间:2020-10-28 02:43:12 其他开发

ElasticSearch JavaAPI(SearchScroll)-search_context_missing_exception“,” reason“ ::”未找到ID的搜索上下文

Am使用 searchScroll 从一个索引中提取了 100k 个文档,并在所有 100K 个文档。然后再次将这些文档插入另一个新索引中。 Am使用 SearchScroll api还将大小设置为 searchSourceBuilder.size(100)我已将大小增加到 searchSourceBuilder.size(1000)。在这两种情况下,在处理 18100 文档(当search ..
发布时间:2020-10-28 02:32:54 Java开发

使用Java RestHighLevelClient使用BulkRequest API为ElasticSearch索引100K文档

使用滚动API从索引 documents_qa 中读取 100k 以及文件路径。实际文件将在我的本地 d:\drive 中可用。通过使用文件路径,我将读取实际文件并转换为base64,并使用另一个文件 document_attachment_qa 中的(文件的)base64内容重新索引。 我当前的实现是,正在读取filePath,将文件转换为base64并与fileContent一起索引文档 ..
发布时间:2020-10-28 02:19:37 Java开发

在没有试用许可证的情况下运行Elastic

背景: 我正在尝试使用弹性堆栈(Elastic,Logstash& Kibana),但我没有钱可付。只要是免费的,我都不介意使用封闭源代码的零件。在这方面,我试图了解弹性许可的工作原理。 我们打开了X-Pack 似乎表明,在Elastic 6.3之后,(尽管使用了不同的许可证)中包含了X-Pack代码。我也了解X-Pack的某些部分是免费的,而其他部分则免费。这有点令人困惑。 目标: ..
发布时间:2020-10-28 02:05:28 其他开发

是否可以通过Elasticsearch中的映射来更新索引中的现有字段?

我已经创建了一个索引,它包含来自我的 MySQL 数据库的数据。我的表中有几个字段为 string ,在那里我需要将它们作为不同的类型( integer & double )in Elasticsearch 。 所以我意识到我可以通过映射来做到这一点, { “ mappings”:{ “ my_type”:{ “ properties”:{ “ userid”:{ “ type”:“ ..
发布时间:2020-10-28 01:54:44 其他开发

Elasticsearch自动完成提示

我想在ES中实现自动完成功能,我遵循了 ES文档中的本教程 我的索引是: { “属性” :{{ “建议” :{ “ type” :“完成”; }, “ titleKeyword” :{ “ type”:“ keyword” } } } } 我正在输入文本值在 titleKeyword 字段 中,然后我如下查询 { “建议”; :{{ “ my-su ..
发布时间:2020-10-28 01:49:48 其他开发

弹簧靴和ELK

我有一系列使用Spring Boot构建的微服务,它们作为带有docker-compose的docker容器运行。我想集中日志文件,因此考虑使用ELK(在另一个容器中运行)。如何将日志文件从基于Spring Boot的Docker容器中获取到ELK,它们是从容器中推送到ELK还是反之? 任何示例配置或最新库将不胜感激。 解决方案 您可以使用以下架构, Spring boot a ..
发布时间:2020-10-25 02:29:09 其他开发

如何在Docker Swarm中的全局服务中设置主机名

我有一个服务作为全局服务(ELK Metricbeat)部署到了Docker Swarm集群。 我希望每个服务的主机名都与换句话说,运行中的节点(主机)的主机名是什么? 如何在yml文件中实现相同的结果,例如: docker run -h`hostname`弹性/metricbeat:5.4.1 这是我的yml文件: metricbeat: 图片:e ..
发布时间:2020-10-25 00:02:57 其他开发