Организация и настройка мониторинга IT сервисов

Система мониторинга — это система отвечающая за сбор технических и бизнес показателей системы, визуализирующая эти показатели, и предупреждающая о достижении порога в той или иной метрики.

Обычно мониторинг можно логически разбить на:

• систему сбора технических и бизнес метрик;
• систему визуализации метрик и построения графических дашбордов как для технических специалистов, так и бизнеса;
• настроенную систему триггеров, реагирующие на достижение порогов важных метрик;
• систему оповещения и эскалации о сработавшем триггере.

Основная функция систем мониторинга — это своевременное оповещение о критичных изменениях в технических метриках системы, которые могут привести к сбоям для конечного клиента, а также об уже произошедших сбоях. В этом случае ответственные сотрудники могут быстро отреагировать и либо не допустить сбоя, либо минимизировать последствия от аварии.

Вторая немаловажная функция — это сбор и визуализация данных. Это помогает техническим специалистам вовремя получать информацию, а также проводить локализацию и поиск аномалий в поведении системы.

Система мониторинга также будет весьма полезна в вопросах безопасности — она может предупреждать о смене паролей, реагировать на возросшее количество запросов, которое может быть следствием начинающейся DDos-атаки.

Во-первых, настроенный мониторинг дает возможность узнавать о проблемах не от конечных клиентов.

Во-вторых, дает возможность хранить и накапливать данные о поведении системы и проводить анализ ретроспективно.

В-третьих, настроенные дашборды дают возможность понять состояние системы одним взглядом и локализовать конкретные части системы при наличии проблем.

В-четвертых, дает возможность отслеживать не только технические метрики, но и бизнес: количество пользователей, количество определенных действий пользователей, время выполнения этапов в бизнес логике, работоспособность внешних сервисов, критичных для работы системы.

Инструментов для построения мониторинга множество. Обычно, если нет пожеланий со стороны клиента, мы выбираем связку Prometheus + Grafana + нотификации в чат Telegram. Тем не менее конкретное приложение может быть развернуто по желанию заказчика в зависимости от его предпочтений и истории развития проекта.

Мы начинаем с анализа текущей инфраструктуры. Параллельно уточняем, какие бизнес-метрики должны собираться и каким образом с технической точки зрения их можно собрать. Далее разворачиваем систему мониторинга, настраиваем сбор технических и бизнес-метрик, настраиваем порог сработки триггеров и реализуем оповещения о сработке этих триггеров. При необходимости создаем необходимые дашборды для технической и управленческой команд.

По умолчанию мы отслеживаем широкий спектр технических метрик и показателей, включая загрузку CPU и памяти, использование дискового пространства, сетевую активность, время отклика, доступность сервисов, собирая полную техническую информацию о каждом блоке инфраструктуры.

При необходимости, мы оперативно добавляем кастомные метрики, характерные и важные для конкретного проекта.

Мониторинг позволяет собирать данные о производительности и загрузке систем в реальном времени, выявлять узкие места и прогнозировать будущие нагрузки. Это помогает оптимизировать использование ресурсов и принимать обоснованные решения по масштабированию.

Мы можем настроить уведомления и оповещения через различные каналы, включая электронную почту, SMS, мессенджеры (например, Telegram, Slack и т.д.), и системы управления инцидентами (например, PagerDuty, Opsgenie). Настройки уведомлений адаптируются под ваши конкретные требования и приоритеты.

Мы разрабатываем и настраиваем дашборды и отчеты для визуализации данных, чтобы вы могли легко анализировать показатели и принимать обоснованные решения. Мы используем инструменты, такие как Grafana и Kibana, для создания наглядных и информативных визуализаций.

Мы рекомендуем регулярно актуализировать метрики и триггеры при работе и развитии продукта. Любой новый модуль должен быть подключен к ней. Кроме того, мы рекомендуем минимизировать, а лучше вообще исключить ситуации, когда нотификации о сработавших триггерах не ведут ни к какой активности.

После внедрения мониторинга и исправления технической команды найденных узких мест вы можете ожидать повышение доступности и производительности сервисов, сокращение времени простоя, улучшение безопасности, оптимизацию использования ресурсов и снижение операционных затрат. Мониторинг также поможет вам принимать обоснованные решения и быстрее реагировать на инциденты.