Анализ журналов

компьютерных В области управления и анализа журналов анализ журналов (или анализ системных и сетевых журналов ) — это искусство и наука, стремящаяся разобраться в созданных компьютером записях (также называемых записями журналов или журналов аудита ). Процесс создания таких записей называется регистрацией данных .

Типичные причины, по которым люди выполняют анализ журналов:

Соблюдение политик безопасности
Соответствие аудиту или регулированию
системы Устранение неполадок
Судебная экспертиза (в ходе расследования или в ответ на повестку в суд )
Реагирование на инциденты безопасности
Понимание поведения онлайн-пользователей

Журналы создаются сетевыми устройствами, операционными системами, приложениями и всевозможными интеллектуальными или программируемыми устройствами. Поток сообщений во временной последовательности часто представляет собой журнал. Журналы могут быть направлены в файлы и сохранены на диске или направлены в виде сетевого потока на сборщик журналов.

Сообщения журнала обычно должны интерпретироваться с учетом внутреннего состояния их источника (например, приложения) и сообщать о событиях, важных для безопасности или операций (например, вход пользователя в систему или системная ошибка).

Журналы часто создаются разработчиками программного обеспечения, чтобы помочь в отладке работы приложения или понять, как пользователи взаимодействуют с системой, например с поисковой системой. Синтаксис и семантика данных в сообщениях журнала обычно зависят от приложения или поставщика. Терминология также может различаться; например, аутентификация пользователя в приложении может быть описана как вход в систему, вход в систему, подключение пользователя или событие аутентификации. Следовательно, анализ журналов должен интерпретировать сообщения в контексте приложения, поставщика, системы или конфигурации, чтобы проводить полезные сравнения с сообщениями из различных источников журналов.

Формат или содержимое сообщения журнала не всегда могут быть полностью документированы. Задача аналитика журнала состоит в том, чтобы заставить систему выдавать полный диапазон сообщений, чтобы понять всю область, из которой сообщения должны интерпретироваться.

Аналитик журналов может сопоставить различную терминологию из разных источников журналов с единой, нормализованной терминологией, чтобы отчеты и статистика могли быть получены из гетерогенной среды. Например, сообщения журналов Windows, Unix, сетевых брандмауэров и баз данных могут быть объединены в «нормализованный» отчет для аудитора. Различные системы могут сигнализировать о разных приоритетах сообщений с помощью разного словаря, например «ошибка» и «предупреждение» или «ошибка», «предупреждение» и «критический».

Следовательно, методы анализа журналов существуют в непрерывном диапазоне от поиска текста до обратного проектирования программного обеспечения.

Функции и технологии

Распознавание образов — это функция выбора входящих сообщений и их сравнения с книгой шаблонов для фильтрации или обработки различными способами.

Нормализация — это функция преобразования частей сообщения в один и тот же формат (например, общий формат даты или нормализованный IP-адрес).

Классификация и маркировка — это упорядочивание сообщений по разным классам или пометка их разными ключевыми словами для последующего использования (например, фильтрации или отображения).

Корреляционный анализ — это технология сбора сообщений из разных систем и поиска всех сообщений, принадлежащих одному событию (например, сообщений, созданных вредоносной активностью в разных системах: сетевых устройствах, межсетевых экранах, серверах и т. д.). Обычно это связано с системами оповещения.

Искусственное незнание — это тип машинного обучения , который представляет собой процесс удаления заведомо неинтересных записей журнала. Искусственное невежество — это метод обнаружения аномалий в работающей системе. В анализе журналов это означает распознавание и игнорирование регулярных, общих сообщений журнала, которые возникают в результате нормальной работы системы и поэтому не слишком интересны. Однако новые сообщения, которые раньше не появлялись в журналах, могут сигнализировать о важных событиях, и поэтому их следует изучить. ^[1]^[2] Помимо аномалий алгоритм выявляет общие события, которые не произошли. Например, не удалось запустить обновление системы, которое запускается каждую неделю.

Анализ журналов часто сравнивают с другими инструментами аналитики, такими как управление производительностью приложений (APM) и мониторинг ошибок. Хотя большая часть их функций явно дублируется, разница коренится в процессе. APM уделяет особое внимание производительности и чаще всего используется в производстве. Мониторинг ошибок осуществляется разработчиками, а не операторами, и интегрируется в код в обработки исключений блоках .

См. также

Ссылки

^ «Искусственное невежество: как направлять» . www.ranum.com .
^ «Классификация сообщений журнала с помощью syslog-ng [LWN.net]» . lwn.net .

[1] «Искусственное невежество: как направлять» . www.ranum.com .

[:0-2] «Классификация сообщений журнала с помощью syslog-ng [LWN.net]» . lwn.net .

[1]

[2]