Зачем нужен стенд
Стенд — это изолированная среда, в которой можно сломать что угодно без последствий. Там мы воспроизводим сбой, проверяем исправление и репетируем восстановление. В рабочую среду переносится только то, что уже сработало на стенде и записано в журнале.
Типовой состав стенда
Ниже — схема, на которую удобно ориентироваться. Конкретный состав зависит от задач; перечисленное не является описанием реального оборудования.
| Элемент | Роль | Замечание |
|---|---|---|
| Виртуальные машины | Имитация узлов: периметр, сервисы, наблюдение | Создаются из шаблона, легко пересоздаются |
| Изолированная сеть | Отдельные сегменты для узлов и управления | Без маршрута в рабочую среду |
| Репозиторий конфигураций | Единый источник настроек | Все изменения — через историю версий |
| Мониторинг стенда | Те же проверки, что и в рабочей среде | Позволяет сравнить поведение «до» и «после» |
Сценарии испытаний
- Отказ узла: отключить один из узлов и проверить, как ведёт себя балансировка и приходят ли оповещения.
- Проблемы с DNS: временно сделать резолвер недоступным и посмотреть, какие сервисы это заметят.
- Истечение сертификата: проверить, за сколько дней мониторинг предупреждает о сроке.
- Восстановление из копии: развернуть сервис с нуля из резервной копии и засечь время.
- Откат обновления: применить обновление, затем вернуть прежнее состояние по инструкции.
Протокол эксперимента
Каждый эксперимент записывается в одном формате, чтобы результаты можно было сравнивать.
Название: отказ узла балансировки
Гипотеза: при отключении узла трафик переходит на остальные за < 30 с
Подготовка: снимок стенда, мониторинг включён
Шаги: 1) остановить сервис на узле B 2) наблюдать метрики 5 минут
Результат: [что произошло на самом деле]
Выводы: [что изменить в конфигурации или документации]
Откат: восстановление из снимка
Важно. Число в гипотезе — это ожидание, а не измеренный показатель. Реальные значения записываются в строку «Результат» только после проведения эксперимента.
Правила изоляции
- Стенд не имеет сетевого маршрута в рабочую среду и не использует её учётные данные.
- Тестовые данные не содержат реальных персональных сведений.
- Секреты стенда отличаются от рабочих и не переиспользуются.
- После эксперимента стенд возвращается к исходному снимку.