一组Logstash与Elasticsearch的压测数据

概述

组内的日志系统基于ELK搭建,本文中的数据在生产环境中进行测试得到,仅供参考。

可供参考的数据为:

Logstash 分析速度为:2352.94 lines/s

ES集群写入速度为:9345.79 records/s

系统构成

系统可以简要的分为:

  • 日志接收机
  • 日志数据队列
  • 日志数据处理机
  • ES集群

日志接收机上通过一个 Logstash 进程 parse 日志数据,将 parse 后的结构写入由 Redis List 实现的日志数据队列中,之后在ES集群前,再使用一个日志处理机 Logstash 进程从 Redis 中 pop 出数据写入ES集群中。

使用 Redis List 的原因是在于当 parse 能力大于ES集群的处理能力时,缓存数据。

运行环境

日志接收机为CPU为4 * Xeon E5强IO型机器,Redis List 与向ES集群写入的 Logstash 位于同一机器上,即日志数据处理机,CPU为12 * Xeon E5。

处理日志为Nginx access日志,记录了如时间、域名、访问IP、URL、HTTP Method、响应时间、返回体长度等,约10+字段。

参数配置

日志接收机上的 Logstash 配置成了10个线程,output 中的 redis 的参数配置为:

1
2
3
4
5
6
7
8
9
10
output {
redis {
host => "192.168.1.101"
port => '6379'
data_type => "list"
key => "Logstash_benchmark"
type => "nginx_access"
threads => 5
}
}

日志数据处理机上的 input 对已配置为:

1
2
3
4
5
6
7
8
9
10
input {
redis {
host => "192.168.1.101"
port => '6379'
data_type => "list"
key => "Logstash_benchmark"
type => "nginx_access"
threads => 5
}
}

而 output 配置为:

1
2
3
4
5
6
7
8
9
10
11
output {
if ([type] == "nginx_access") {
elasticsearch_http {
host => "192.168.2.101"
port => "9527"
flush_size => 10000
workers => 10
index => "Logstash_benchmark"
}
}
}

测试方法

测试分为测试 Logstash 分析日志能力,以及ES集群写入能力。

Logstash 的分析能力通过每秒取样 Redis List 中的新增队列长度获得(日志接收机上的 Logstash 生产)。

ES集群的写入能力通过每秒取样 Redis List 中减少的队列长度获得(日志数据处理机上的 Logstash 消费)。

在测试一个阶段时,会关闭另一端的 Logstash

数据

平均数据后,可供参考的数据为:

Logstash 分析速度为:2352.94 lines/s

ES集群写入速度为:9345.79 records/s