Здоровье

Mistgate следит за флотом с двух сторон. Панель подключается к каждому профилю на каждой ноде так же, как приложение пользователя (проверки глазами клиента), а агент на каждой ноде проверяет собственный хост (доктор ноды). Из этого и из состояния нод складываются алерты. Всё собрано на странице Здоровье во вкладках Алерты, Проверки и Доктор; у страницы ноды есть своя вкладка Доктор, а на вкладке Обзор видны проверки этой ноды.

Проверки глазами клиента#

Как устроена проверка#

Для каждого профиля на ноде панель поднимает туннель встроенным клиентом и через него запрашивает две страницы:

Имена хостов разрешает нода, а не панель, поэтому сломанный резолвер на ноде тоже проваливает проверку.

Результат бывает трёх видов:

• Успех: ответили обе страницы.
• С ошибками: туннель работает, но одна из двух страниц не ответила. Задержка показывается цветом предупреждения. Такой результат сам по себе алерт не открывает.
• Провал: туннель не поднялся или не ответила ни одна страница.

Клиент зависит от протокола:

• Hysteria2. Официальный клиент Hysteria2 внутри панели. Он подключается к адресу ноды и к собственному порту профиля (не к диапазону прыжков по портам, поэтому закрытый диапазон прыжков проверка не увидит). Он использует обфускацию профиля (Salamander или Gecko) и правила сертификата, как настоящий клиент: самоподписанный сертификат сверяется с отпечатком, который сообщила нода, любой другой проверяется по полю Домен (SNI) профиля.
• AmneziaWG. amneziawg-go внутри процесса панели на сетевом стеке в userspace: без сетевого интерфейса, без root, без изменений в маршрутах сервера панели. Конфигурация та же, что получает настоящее устройство. Каждый круг — новое устройство, так что каждый круг заодно проверяет рукопожатие. Нода не отвечает незнакомому пиру и пакету с чужой обфускацией, поэтому отсутствие рукопожатия и закрытый UDP-порт выглядят одинаково: оба случая — таймаут.

Протокол без тестового клиента показывается как не проверяется.

Проверка идёт от скрытой служебной учётки на каждом профиле каждой ноды: она не принадлежит ни пользователю, ни устройству и никогда не появляется в списках пользователей, подписках, квотах и инструментах MCP. На профиле Hysteria2 нода ограничивает её скоростью 2 Мбит/с. На профиле AmneziaWG она занимает один адрес из клиентской сети профиля.

Расписание#

Как читать таблицу#

«Здоровье» → «Проверки» — таблица: строки — ноды, столбцы — профили. В ячейке задержка в миллисекундах или состояние:

Провалом считается только «не проходит». Остальные состояния — пропущенные круги: они не сохраняются и не влияют на счётчик неудач подряд.

Клик по ячейке открывает последние 24 часа в получасовых столбиках (красные — где круг провалился), IP выхода и Подряд с ошибкой. Алерт открывается после двух проваленных кругов подряд.

Если круг провалился, ячейка объясняет почему:

Что значит «зелёный»#

Зелёная ячейка значит, что в последние минуты клиент из сети панели завершил рукопожатие с этим профилем на этой ноде и через выход ноды открыл два известных сайта. Она не доказывает, что работает диапазон прыжков по портам, что сети ваших пользователей пропускают трафик и что каждое приложение справляется с профилем.

Доктор ноды#

Агент каждой ноды прогоняет 16 проверок своего хоста. Они только читают: файлы в /proc и /sys, несколько файлов конфигурации и команды, которые ничего не меняют (systemctl list-*, nft list, timedatectl show, dmesg, journalctl -k). Любое изменение — отдельный подтверждаемый шаг (см. «Исправления» ниже).

Когда он работает#

• Примерно через 30 секунд после подключения агента, затем каждые 10 минут (с разбросом до минуты).
• Проверить снова на «Здоровье» → «Доктор» или на вкладке Доктор ноды просит ноду прогнать проверки сейчас и ждёт отчёт до 30 секунд.
• У каждой проверки 10 секунд, у всего прогона 30 секунд. Проверка, которая зависла или не может работать на этом хосте (контейнер, нет systemd, не root), получает статус Пропущено с причиной. Ложного «Ок» не бывает.
• Отчёт старше 25 минут считается устаревшим: админка показывает его серым и пишет, сколько ему. У ноды не на связи показан её последний отчёт, а исправления недоступны, пока она не вернётся.
• Про агента, который появился раньше доктора, админка пишет «слишком старый для доктора». Обновите его на странице «Обновления».

У каждого пункта одно из четырёх состояний: Ок, Внимание (предупреждение), Проблема и Пропущено.

Проверки#

Нода без IPv6 с WARP — это нормально: WARP ходит через свой IPv4-адрес, и админка показывает пункт IPv6 как «Ок».

Предупреждение или проблема открывают алерт (см. «Виды алертов» ниже). Исключение — проверка сертификатов: она открывает алерт «Сертификат скоро истечёт», а не алерт доктора.

Исправления#

Исправлений ровно четыре. Они встроены в агента: панель присылает только идентификатор исправления, а агент проверяет параметры (профиль должен быть одним из тех, что работают на ноде). Ни одно из них не ставит пакеты и не удаляет данные.

Исправление всегда идёт в два шага:

1. Нажмите кнопку исправления у пункта доктора или в алерте. Панель спрашивает ноду, что она сделает («Спрашиваю у ноды, что она сделает…»); нода отвечает пробным прогоном, который ничего не меняет.
2. Диалог показывает план: например, размер журнала до и после или какие профили перезапустятся и сколько подключений оборвётся. Применить выполняет ровно этот план.

План действует 10 минут, срабатывает один раз и привязан к ноде, исправлению и его параметрам. На одной ноде одновременно выполняется одно исправление. Оба шага пишутся в журнал аудита. После удачного исправления нода заново прогоняет затронутые проверки, и алерты, которые оно сняло, закрываются как «исправлено». Применять исправления может только владелец.

Если исправление не удалось, диалог объясняет почему:

У проверок без исправления пункт открывает блок Вручную с командами для ноды: включить синхронизацию времени, найти, кто держит порт, посмотреть правила файрвола, или совет перезагрузить сервер из панели хостера.

«Это нормально для этой ноды»#

Некоторые предупреждения — факты, с которыми вы согласны: собственные таблицы nftables у Docker, хост без работающего IPv6. Это нормально для этой ноды у пункта доктора или в его алерте перестаёт открывать алерт и считаться в значках. Пункт переезжает в группу Принято как нормальное и показывает, кто и когда его принял.

• Принять можно только предупреждение («Внимание»). Проблему — нельзя, предупреждение о сертификате — никогда.
• Принимается именно тот факт, который сообщила нода (её код детали). Принятие снимается само, когда нода сообщает по этой проверке другой факт или проверка становится проблемой. Предупреждения агента, слишком старого для кодов деталей, принять нельзя.
• Вернуть отменяет принятие.
• Алерт принятого предупреждения закрывается как «принято как нормальное».

Алерты#

Как алерты открываются и закрываются#

Алерт — функция текущего состояния. Каждые 10 секунд, а также после каждого круга проверок и каждого отчёта доктора панель выясняет, какие условия выполняются сейчас: для нового условия открывается алерт, алерт без условия закрывается. На один вид, ноду и предмет (профиль, проверку доктора) приходится один активный алерт. Поскольку ничего не зависит от запомненных событий, алерты переживают перезапуск панели.

Если панель не может оценить условие, алерт остаётся как есть, а не закрывается: у ноды не на связи сохраняются остальные алерты (для неё решается только «Нода недоступна»), устаревший отчёт доктора сохраняет алерты доктора, а результат проверки, сделанный до пропажи ноды, сохраняет алерты проверок.

Алерт, который срабатывает снова в течение часа после закрытия, открывается заново с прежним идентификатором и временем начала. Первые 90 секунд после запуска панели алерт «Нода недоступна» не открывается: агенты ещё переподключаются.

Виды алертов#

Причина в алерте о трафике называет вероятный диагноз:

Ещё два вида есть в API, но панель не открывает их как алерты: пользователь выбрал квоту (это видно в его статусе) и подписка похожа на общую (пишется событием «ссылкой подписки пользуются из N сетей за сутки»).

Важность и значки#

Алерты бывают Критично, Внимание и Инфо. Значок в шапке и на «Обзоре» считает активные алерты, кроме заглушённых и «Инфо». В списке активных сначала идут критичные, затем самые новые.

Чем закончился алерт#

Список История · 7 дней показывает, как закрылся каждый алерт:

Закрытые алерты хранятся 90 дней. API отдаёт историю до 30 дней, не больше 200 алертов.

Кнопки в алерте#

В зависимости от содержания карточка алерта предлагает:

• исправление доктора (только пока доктор его предлагает и нода на связи);
• Перезапустить профиль или Перезапустить профили — с числом подключений, которые оборвутся;
• Открыть профили ноды, где меняются порт и домен;
• карточку WARP ноды;
• Открыть ноду;
• Это нормально для этой ноды — для предупреждения доктора;
• Заглушить.

Заглушка#

Заглушить предлагает: «На 1 час», «До утра (08:00)», «На сутки», «На 7 дней». Самая долгая заглушка — 7 дней; Снять заглушку отменяет её.

• Заглушённый алерт остаётся в списке с подписью «Заглушён до …». Его продолжают оценивать, и он закрывается сам.
• В значках он не считается.
• Если его важность растёт, заглушка снимается и алерт снова считается.
• Заглушка пишется в журнал аудита.

События на странице ноды#

Вкладка События ноды и лента событий на «Обзоре» хранят хронологию, которая отвечает на вопрос «что было ночью»:

События важности «инфо» хранятся 90 дней, предупреждения и ошибки — 400 дней. Отдельные круги проверок хранятся 25 часов после того, как день сведён в итог; дневные итоги — 90 дней.

Кто что может#

API-токен с профилем operator может глушить алерты, запускать проверки и доктора. Исправление доктора через токен возможно только через MCP, как план, который одобряет владелец (см. MCP).