Лаборатория

Лаборатория

Тестовый стенд, на котором изменения проверяются до того, как попадут в рабочую среду.

Зачем нужен стенд

Стенд — это изолированная среда, в которой можно сломать что угодно без последствий. Там мы воспроизводим сбой, проверяем исправление и репетируем восстановление. В рабочую среду переносится только то, что уже сработало на стенде и записано в журнале.

RACK A · B · C · D
Иллюстрация: стойки с оборудованием в тестовой лаборатории (схематично).

Типовой состав стенда

Ниже — схема, на которую удобно ориентироваться. Конкретный состав зависит от задач; перечисленное не является описанием реального оборудования.

ЭлементРольЗамечание
Виртуальные машиныИмитация узлов: периметр, сервисы, наблюдениеСоздаются из шаблона, легко пересоздаются
Изолированная сетьОтдельные сегменты для узлов и управленияБез маршрута в рабочую среду
Репозиторий конфигурацийЕдиный источник настроекВсе изменения — через историю версий
Мониторинг стендаТе же проверки, что и в рабочей средеПозволяет сравнить поведение «до» и «после»
Иллюстрация: патч-панели и коммутационные шнуры.
Иллюстрация: патч-панели и коммутационные шнуры.
Иллюстрация: коммутатор с подключёнными кабелями.
Иллюстрация: коммутатор с подключёнными кабелями.

Сценарии испытаний

  • Отказ узла: отключить один из узлов и проверить, как ведёт себя балансировка и приходят ли оповещения.
  • Проблемы с DNS: временно сделать резолвер недоступным и посмотреть, какие сервисы это заметят.
  • Истечение сертификата: проверить, за сколько дней мониторинг предупреждает о сроке.
  • Восстановление из копии: развернуть сервис с нуля из резервной копии и засечь время.
  • Откат обновления: применить обновление, затем вернуть прежнее состояние по инструкции.

Протокол эксперимента

Каждый эксперимент записывается в одном формате, чтобы результаты можно было сравнивать.

Название:      отказ узла балансировки
Гипотеза:      при отключении узла трафик переходит на остальные за < 30 с
Подготовка:    снимок стенда, мониторинг включён
Шаги:          1) остановить сервис на узле B  2) наблюдать метрики 5 минут
Результат:     [что произошло на самом деле]
Выводы:        [что изменить в конфигурации или документации]
Откат:         восстановление из снимка
Важно. Число в гипотезе — это ожидание, а не измеренный показатель. Реальные значения записываются в строку «Результат» только после проведения эксперимента.
Иллюстрация: оптоволоконные линии связи.
Иллюстрация: оптоволоконные линии связи.
Иллюстрация: рабочее место администратора с панелью мониторинга.
Иллюстрация: рабочее место администратора с панелью мониторинга.

Правила изоляции

  • Стенд не имеет сетевого маршрута в рабочую среду и не использует её учётные данные.
  • Тестовые данные не содержат реальных персональных сведений.
  • Секреты стенда отличаются от рабочих и не переиспользуются.
  • После эксперимента стенд возвращается к исходному снимку.