查询弹性搜索JSON
我的数据从平面文件进入logstash我试图查询弹性搜索。 OrderNumber ProductName order1 Chicken order2香蕉 order3 Chicken order1黄瓜 订单2鸡 订单3苹果 订单1面粉 订单2米 订单3坚果 如上所述，我有一个鸡 的产品名称，发生在不同的订单号。 OrderNumber Produc
..
logstash相关内容
如何使用logstash将队列的内容发送到弹性搜索索引
我有一个logstash运行，消耗两个兔子队列并发送到弹性搜索。这是我的logstash.conf文件： input { rabbitmq { host => 'rabbit' durable => true user => 'user' queue => 'dev-user_trace' password => 'pass' } rabbitmq { host =>
..
在ELK中组合日志和查询
使用ELK（Elasticsearch-Logstash-Kibana）堆栈，我将syslog日志从* nix框收集到Logstash，并通过Elasticsearch发送到Kibana。这是经典的一种情况。 我的系统日志记录包括正常的系统事件，squid访问日志，captiveportal登录日志等。 captiveportal记录为 1423548430 2582 192.16
..
弹性搜索的索引速度为1000万次
我正在试图找出为什么弹性搜索在索引时是如此之慢。我不确定它是否是弹性搜索本身的限制，但是我将分享我迄今为止所拥有的东西。 我有一个弹性搜索节点和一个logstash实例运行一个盒子。我的文档有大约15个字段，我有一个弹性搜索映射设置与正确的类型（虽然我已经尝试没有映射，得到几乎相同的结果）。 我我一次索引约8-10万个事件，并采取了以下方法。 批量API具有以下格式（我将csv转
..
Logstash打开的文件太多？
我正在运行 logstash 1.4.1 并运行它，我在控制台上得到关注： 无法打开/home/Desktop/Input/2014-11-03/abc.log：权限被拒绝 - /home/Desktop/Input/2014-11-03/abc.log {： level =>：warn} 无法打开/home/Desktop/Input/2014-10-14/abc.log：权限被拒绝
..
通过字段在ELK中关联消息
相关：在ELK中组合日志和查询 我们正在设置ELK，并希望在Kibana 4中创建一个可视化。 这里的问题是我们要关联两种不同类型的消息。 > 为了简化： 消息类型1字段：message_type，common_id_number，byte_count， ... 消息类型2个字段：message_type，common_id_number，hostname，... 两
..
使用logstash与Sql Server
我正在使用logstash和Sql server作为数据源来实现ES。我最初使用河流从Sql服务器读取数据，但我的团队中的一名开发人员推荐使用logstash。任何人都可以指出如何开始使用logstash& sql server。我的目标是使用elasticsearch进行搜索。 谢谢 解决方案 到目前为止，没有任何用于阅读SQL的Logstash API。 对于输入API，您可以
..
Logstash：将复制的多行JSON从日志文件解析为ElasticSearch
我先说说，我已经经历了很多这方面的例子，尽管如此，这些例子还是不行。我不知道是不是因为日志文件中JSON的复杂性质。 我正在寻找示例日志条目，让Logstash读取它并将JSON作为JSON发送到ElasticSearch。 以下是（缩略）示例： 0m [0m16：02：08,685 INFO [org.jboss.as.server]（ServerService Thread
..
Logstash不读文件输入
我有一个奇怪的问题与Logstash。我提供一个日志文件作为logstash的输入。配置如下： input { file { type => “apache-access” path => [“C：\Users\spanguluri\Downloads\logstash\bin\test.log”] } } 输出{ elasticsearch { protocol => “
..
使用logstash将CSV地理数据转换为elasticsearch作为geo_point类型
以下是我使用最新版本的logstash和弹性搜索的问题的一个可重复的示例。 我正在使用logstash从csv输入地理空间数据进入弹性搜索作为geo_points。 CSV如下所示： $ head simple_base_map.csv “lon”，“lat” -1.7841,50.7408 -1.7841,50.7408 -1.78411,50.7408 -1
..
Logstash输出到AWS EC2上的Elasticsearch
我使用Logstash版本1.1.5和Elasticsearch 1.19.8，我无法将logstash配置为输出到AWS EC2上的Elasticsearch集群。 这是我在logstash中的输出配置： output { stdout {debug => true debug_format => “json”} elasticsearch { cluster => “lo
..
输入json到logstash - 配置问题？
我有以下的json输入，我想要转储到logstash（并最终在elasticsearch / kibana中搜索/仪表板）。 {“漏洞”：[ {“ip”：“10.1.1.1”，“dns”：“z.acme.com”，“vid”：“12345”}， { ip“：”10.1.1.2“，”dns“：”y.acme.com“，”vid“：”12345“}， {”ip“：”10.1.1.3“，”
..
Logstash删除类型并保持_type
我有一个logstash客户端和服务器。 客户端将logstiles的logstash发送到服务器，并且服务器还运行logstash来获取这些日志。在服务器上，我有一个json过滤器在实际日志的字段中拉出json格式的消息，以便弹性搜索可以对它们进行索引。 这是我的代码服务器： 输入{ udp {} } 过滤器{ json { source => “消息” } }
..
在logstash中用grok解析多行JSON
我有一个JSON格式： { “SOURCE”：“源A” ， “Model”：“ModelABC”， “Qty”：“3” } 我试图使用logstash解析这个JSON。基本上我希望logstash输出是一个可以使用kibana分析的key：值对的列表。我以为这可以开箱即可。从很多阅读，我明白我必须使用Grok插件（我仍然不知道json插件是什么）。但是我无法得到所有领域的
..
弹性搜索将字符串转换为数字
我是Elasticsearch的新手，刚刚开始使用ELK堆栈。我正在收集Logstash中的键值类型日志并将其传递给Elasticsearch中的索引。我在Logstash中使用kv过滤器插件。因此，默认情况下，所有字段都是字符串类型。 当我尝试在弹性搜索中的数字字段上执行聚合，如avg或sum，我得到一个异常： ClassCastException [org.elasticsearch.i
..
弹性搜索中更改ID
我在 ElasticSearch 遇到问题，如何更改 id 到日志文件中的另一个字段？ 解决方案 在弹性搜索输出中，您可以为事件设置document_id运输。这将最终成为弹性搜索的一部分。您可以使用logstash config中提供的所有类型的参数/字段引用/ ...。像这样： elasticsearch { host => yourEsHost cluster => “
..
从kibana导出到csv / excel
我正在使用Elasticsearch Logstash和Kibana为我的一个项目构建一个概念证明。我有图表工作没有任何问题的仪表板。我的项目的一个要求是能够下载文件（csv / excel）。 在kibana中，我看到的下载文件的唯一选项是点击可视化创建的编辑按钮。可以在仪表板上添加一个链接，允许用户在不进入编辑模式的情况下下载文件。其次，我想禁止/隐藏除了查看仪表板之外的任何人的编辑模式。
..
Logstash INPUT MySQL
在Logstash文档中找不到关系数据库的任何输入插件。 使用logstash从一个关系数据库表导入数据的最佳方法是什么？使用JDBC将Elastic Search直接连接到数据库？ 解决方案 您需要使用JDBC River（https://logstash.jira.com/browse/LOGSTASH-1764
..
如何创建与Kibana 3的时间图上的价值？
我使用logstash存储包含车辆速度的日志文件。 在Kibana 3中，如何生成一个随时间显示值的面板，即x轴显示相关值的时间和y轴，例如。车辆速度。 我发现大多数面板都计算出给定时间范围内事件的发生，并将其显示在y轴上。然而，我的目标是直接从json日志条目（wheelSpeed_m_s）打印一个值，如下所示： { “_index”：“logstash-2013.05.07
..
当使用Logstash和Elasticsearch输出时，.raw字段来自哪里？
当一起使用Logstash和Elasticsearch时，为分析的字段追加 .raw 的字段，这样当使用Kibana这样的工具查询Elasticsearch时，可以使用字段的值原来没有每个字的分割，没有。 我建立了一个新的安装的ELK堆栈与最新的最伟大的版本的一切，并注意到我的 .raw 字段不再像旧版本的堆栈一样被创建。有很多发布在弹性搜索上创建模板的解决方案，但是我没有能够找到很多信息到
..