Logstash 聚合插件 aggregate filter 的使用心得
在ELK常规的使用模式下，我们收集Nginx访问日志是按照单行进行的。这样比如说有10个用户请求，对应在ElasticSearch中就是10条记录（也称为10个document）。下面将分别描述此种收集方法的优缺点。
首先，这样的收集方式非常利于按照指定字段去搜索，并根据匹配的记录去查看其它字段的信息。比如统计客户端IP为 127.0.0.1 的请求有多少，使用IPhone 手机的请求有多少。当出现 499 、502 状态码时，看看这些请求的URL是什么，然后快速定位问题。这些方法都是非常非常实用而且好用的。
其次，除了上面的这些需求之外，我们还想要制作统计图，比如统计按时间范围统计总请求数，4xx 数量，5xx数量，响应时间超过 500ms的请求数，输出的字节数量，平均响应时间。特别是最后2项，时间范围跨度越长，数据量越大，计算时间就越长。据我们实际使用中的数据量，单个索引，每天 3亿的文档数量，对应就有120G左右的数据，在单个dashboard中同时展示上面的几种图标，如果时间跨度超过1小时，页面加载时间就会超过 2s 。而kibana又提供了自动刷新功能，这样如果有多个人同时使用 elasticsearch就会咔咔的慢。
搭建ELK日志监控平台那些事
ELK 是 elasticsearch / logstash / kibana 这三个英文单词的缩写，也即表明，这个技术栈中包含这三个组件，都是一家公司出品（www.elastic.co）。
kibana 负责展示，数据从elasticsearch中获取
logstash 负责收集并解析日志数据，然后输出指定格式到elasticsearch
elasticsearch 负责保存数据，并提供检索功能。
这些组件可以在具体场景中按需组合使用，也可以单独使用。其中最有名气的当属 elasticsearch，是基于 Lucene 实现的高可用，高性能的搜索服务。现在，众多中大型企业级搜索就是使用的它，值得我们去好好学习一下。