Тестирование производительности по протоколу AMQP с Gatling

Raiffeisen Business Platform

глазами инженера по производительности

• Linux, Windows
• Scala, Java, Groovy
• AMQP и RabbitMQ
• JMS и IBM.MQ
• PostgreSQL
• Gatling и Apache.JMeter

Доклад на основе

опыта 2018-2019 гг. тестирования

• асинхронных микросервисов
• c AMQP и RabbitMQ
• c Gatling и не только

Содержание

• Очереди
• Подача нагрузки по AMQP
• RequestReply-подход в Gatling
• SharedHashMap-подход в Gatling
• Транзакции (группы) в Gatling
• Асинхронная статистика в Gatling

Код прилагается

Очереди

Ответ придёт нескороили не придёт

• Отложенные вычисления
• Асинхронная обработка
• Очередь как паттерн
• Очереди и шквал запросов
• Очереди и надёжность узлов
• Очереди и дублирование сообщений

Школа Highload. Урок № 4. Масштабирование во времени

(Хакер № 163, 2012 год, стр. 108-112)

Очереди

Отложенные вычисления

Очереди

Асинхронная обработка (отложенная)

Собрать данные сейчас, а обработать потом:

• Пересчитать статистику
• Обновить индексы в базе данных
• Сформировать банковские выписки

Очередь как паттерн

Очередь может быть в БД, но лучше в MQ

Очереди и множество запросов

Шина: ответы на запросы в другой системе

Очереди и проверка на дубликаты

На 10 запросов может быть 1 ответ

Очереди и надёжность узлов

Шина данных защищает от потерь

Очереди, RabbitMQ, AMQP

Ответы могут:

• формироваться долго
• формироваться по расписанию
• быть доступны по другому протоколу
• соотвествовать нескольким запросам-дублям

И ответы не должны теряться

Инструмент для нагрузки должен быть гибким

Apache.JMeter для RabbitMQ в 2019

github.com/jlavallee/JMeter-Rabbit-AMQP (105 ★)

Last commit	2016-05-17	три года назад
JMeter	2.11	2014, работает в 5.1
Amqp	3.5.1	2015, обновляется до 4.11
Issues	21	2015, критично heardbeat
Pull Requests	9	2017, удобно maven
Fork	109	много, но активных 11

Apache.JMeter для RabbitMQ в 2019

github.com/polarnik/JMeter-Rabbit-AMQP-info (TOP 11 Forks)

Gatling для RabbitMQ в начале 2019

github.com/maiha/gatling-amqp (14 ★)

Last commit	2016-09-02	три года назад
Gatling	2.2.0-M3	2015, не работает в 3.0+
Amqp	4.9.0	2015, обновляется до 4.11
Issues	2	2018, критично gatling-2.2.2
Pull Requests	2	2018
Fork	25	три активных, для gatling-2

Gatling для RabbitMQ в конце 2019

github.com/TinkoffCreditSystems/gatling-amqp-plugin (14 ★)

Last commit	2019-10-06	недавно
Gatling	3.2.0	2019, работает в 3.0+
Amqp	5.7.1	2019, новый
Issues	2	2019, нет Consume
Pull Requests	1	2019, развивается
Fork	5	один активный

Отправить AMQP-запрос без Gatling

			def send(): Unit = {
			  val factory = new ConnectionFactory()  // open
			  factory.setUsername("guest")           // open
			  val conn = factory.newConnection()     // open
			  val channel = conn.createChannel()     // open
			  val bytes = message.getBytes()
			  channel.basicPublish("exchange","routing.key",null,bytes)
			  channel.close()                        // close
			  conn.close()                           // close
			}			
		

Отправить AMQP-запрос без Gatling

			.group("Transaction Name") {
			  exec {
			    session => 
			      val factory = new ConnectionFactory() // open
			      ...                                   

			      channel.basicPublish("exchange","routing.key",null,bytes)

			      channel.close()                       // close
			      conn.close()                          // close
			    session                          
			  }                      
			}			
		

Отправить AMQP-запрос без Gatling

			.group("Transaction Name") {
			  exec {
			    session => 
			      val factory = new ConnectionFactory() // open
			      ...                                   

			      channel.basicPublish("exchange","routing.key",null,bytes)

			      channel.close()                       // close
			      conn.close()                          // close
			    session.set("variable", variableValue)  // share                        
			  }                      
			}			
		

Логируем гибко в Gatling

			// 1. 12:00:00
			asyncLog("1").start("Generate PDF Report")
			// 2. 12:00:05
			asyncLog("1").log()
			             .label("Generate PDF Report (prepare report complete)")
			// 3. 12:03:00		
			asyncLog("1").stop()		
		

Логируем удобно в Gatling

			.exec(asynclog("Generate PDF Report (prepare report complete)")
      		  .startTimestamp("2019-11-25 00:19:00",
      		                  "yyyy-MM-dd HH:mm:ss")
      		  .endTimestamp("2019-11-25 00:29:00", "yyyy-MM-dd HH:mm:ss")
      		  .status(io.gatling.commons.stats.OK)
      		  .responseCode("200")
    		)		
		

Выбор основы AMQP-плагина

для Gatling 3.0+

JDBC-plugin (3.2.1)	работает, есть инструкция по разработке
JMS-плагин (latest)	базовый, работа с очередями
AMQP-плагин (2.1)	старый, не сработал
JMeter-плагины	наглядность, работают
AMQP-плагин (3.2)	новый, работает

Архитектура взаимодействия

Две очереди и CorrelationID

Архитектура взаимодействия

Две очереди и CorrelationID => Ожидания

Архитектура взаимодействия

Две очереди и CorrelationID => Ожидания и OutOfMemory

Архитектура взаимодействия

Сокращение параллельности и времени ожидания

• RPC: replay-to
• TTL: expiration, x-expires
• Length Limit: x-max-length, x-max-length-bytes

Архитектура взаимодействия

Разделить отправку и получение

Внутренний механизм корреляции сообщений

Есть разные варианты реализации

• callback-функцию, как в JMS-плагине
• корреляция через session, check, wait и общий ConcurentHashMap
• реализовать механизм корреляции прямо в Gatling-плагине

Внутренний механизм корреляции сообщений

callback-функция, как в JMS-плагине

• принимает тело ответа, возвращает CorrelationID
• предусмотрено для варианта с двумя очередями
• не предусмотрено для варианта с тремя очередями
• внутри использует синхронизацию через ConcurentHashMap

Внутренний механизм корреляции сообщений

Корреляция через session, check, wait и ConcurentHashMap

• предусмотрено для варианта с тремя и более очередями
• можно создавать заглушки прямо в тесте
• максимальная гибкость
• сложность отладки

Внутренний механизм корреляции сообщений

Механизм корреляции прямо в AMQP-плагине

• удобно, если владеть кодом плагина
• удобно, если плагин можно расширять
• максимальное удобство
• простота отладки