Как мы непрерывно тестируем
производительность 30 проектов

Обо мне

Занимаюсь тестированием производительности бекендов внешних продуктов 2ГИС.

Первые шаги

• нагружаем Справочное API Яндекс.Танком
• сравниваем старую и новую версии
• используем контур стейджинга

Подключаем новые проекты

• формируем команду
• нагружаем Фото и Авторизацию
• берём Gatling для сценариев
• переиспользуем код

Автоматизируем

• поднимаем Jenkins и слейв с инструментами
• делаем сборку Gatling, наследуемся от неё в проектах
• пишем прослойку с конфигами

Cloud :  Apps
CI :  Runners  Tests
		

Мониторим

• поднимаем InfluxDB
• ставим на машинки Telegraf
• поднимаем Grafana с дашбордами

Cloud :  Apps
CI :  Runners  Tests
Metrics :  Exporters  Dashboards
		

Хотим фичи

• прикручиваем диффер
• прикручиваем логи медленных запросов
• прикручиваем графики SLA

Cloud :  Apps
CI :  Analitycs  Runners  Tests
Metrics :  Exporters  Dashboards
		

Подключаем ещё проекты

• выделяем общие компоненты BaseRequest, BaseTest
• определяем пакет с core

Плюсы

• быстрый старт нового проекта
• переиспользование кода и фич
• полуавтоматизация и однопоточность тестов
• интерфейс запуска и конфигурации тестов
• множество технологий на пощупать и выбрать

Минусы

• постоянное участие в правках общего репозитория
• при изменении core нужно следить за всеми проектами
• три слоя конфигурации
• ручной запуск, просьбы запустить
• на поддержке множество технологий

Узкие места

Cloud :  Apps
CI :  Analitycs  Runners  Tests
Metrics :  Exporters  Dashboards
		

План перестройки

• избавиться от общего репозитория и core
• разнести тесты по командам
• погрузить команду в тестирование
• забыть про интерфейсы и полностью автоматизировать
• посмотреть, можно ли что-то переиспользовать

Кодим

• переносим в отдельные репозитории и убираем core
• делаем тесты самодостаточными
• отдаём в команды

Cloud :  Apps
CI :  Analitycs  Runners  Tests
Metrics :  Exporters  Dashboards
		

Нюансы и факты

• 15% повторяемого кода
• Scala не так страшна

Автоматизируем

• переносим на общий GitLab и GitLab CI
• поднимаем Shared runners с docker-executor
• создаём docker-образ со всеми инструментами

Cloud :  Apps
VCS, CI :  Analitycs  Runners  Tools  Tests
Metrics :  Exporters  Dashboards
		

Нюансы

• оверхед с Docker не замечен
• тюнить нужно хост и docker-рантайм
• могут быть сложности с пакетами в «одной коробке»
• UI нет, поэтому меняем конфигурацию в ветках

Погружаем в тестирование

• проводим мастер-классы
• готовим документацию и примеры

Факты

• компетентность людей в нагрузке стала выше
• стали тестировать не только перед релизом

Мониторим

• переезжаем на общие Prometheus и Grafana
• используем Ansible роли экспортёров

Cloud :  Apps
VCS, CI :  Analitycs  Runners  Tools  Tests
Metrics :  Exporters  Dashboards
		

Нюансы

• договариваемся с админами об увеличении частоты сбора метрик
• поднимаем Push Gateway для Graphite-метрик Gatling

Смотрим в аналитику

• выделяем фиче-скрипты в сервис с UI, открытым API и CLI
• дружим с Gatling и Яндекс.Танк

Cloud :  Apps
VCS, CI :  Runners  Tools  Tests
Metrics :  Exporters  Dashboards
Analitycs
		

Факты

• к сервису подключились тесты мобилок и фронтенда

Учимся в Kubernetes

• поднимаем рабочую ноду в нагрузочном контуре
• добавляем kubectl в образ с инструментами

Стучимся в процессы

• обсуждаем производительность на техническом ревью проектов

Что получилось

• на поддержке минимум технологий
• используем общие компоненты
• команды вовлечены в процесс тестирования
• тотальная автоматизация

Инфраструктура

Cloud :  Apps
VCS, CI :  Runners  Tools  Tests
Metrics :  Exporters  Dashboards
Analytics

Legend: Admins  Perf  Teams
		

Хотим стрелять во внешний сервис?

Cloud :  Apps
VCS, CI :  Runners  Tools  Tests
Metrics :  Exporters  Dashboards
Analytics

Legend: Common  Teams
		

Хотим свои нагрузочные мощности?

Cloud :  Apps
VCS, CI :  Runners  Tools  Tests
Metrics :  Exporters  Dashboards
Analytics

Legend: Common  Teams
		

Хотим добавить аналитику?

Cloud :  Apps
VCS, CI :  Runners  Tools  Tests
Metrics :  Exporters  Dashboards
Analytics

Legend: Common  Teams
		

Новый проект: тест

phantom:
	address: example.org
	load_profile:
		load_type: rps
		schedule: line(1, 100, 30s) const(100, 120s)
	uris:
		- "/"
		

Новый проект: CI

test:
	image: docker-hub/perf/tools
	script:
		- yandex-tank -c load.yaml
	after_script:
		- cli upload
	tags: [ perf ]
		

Простые советы

• на малом числе активных проектов можно выделить core
• легаси пусть остаётся легаси
• автоматизируйте всё и вся
• переиспользуйте и делайте проще
• шарьте знания, найдите круг заинтересованных