Глубокая проверка контента

Глубокая проверка контента ( DCI ) — это форма сетевой фильтрации, которая проверяет весь файл или MIME- объект при прохождении точки проверки в поисках вирусов , спама, потери данных, ключевых слов или других критериев уровня контента. Глубокая проверка содержимого считается развитием глубокой проверки пакетов с возможностью смотреть на то, что содержит фактический контент, вместо того, чтобы сосредотачиваться на отдельных или нескольких пакетах. Глубокая проверка содержимого позволяет службам отслеживать содержимое нескольких пакетов, так что сигнатуры, которые они могут искать, могут пересекать границы пакетов, и при этом они все равно будут найдены. Исчерпывающая форма проверки сетевого трафика, при которой интернет-трафик исследуется на всех семи уровнях OSI ISO и, что наиболее важно, на уровне приложений. ^[1]

Фон

Традиционные технологии проверки не могут справиться с недавними вспышками широкомасштабных атак. ^[2] В отличие от методов поверхностной проверки, таких как глубокая проверка пакетов (DPI), при которых проверяются только часть данных (и, возможно, также заголовок) пакета, системы на основе глубокой проверки содержимого (DCI) являются исчерпывающими, то есть пакеты сетевого трафика собираются заново. в составляющие их объекты, не закодированы и/или распакованы по мере необходимости и, наконец, представлены для проверки на наличие вредоносного ПО, права использования, соответствия требованиям и понимания цели трафика. Если эту реконструкцию и понимание можно выполнить в режиме реального времени, то к трафику можно будет применять политики в реальном времени, предотвращая распространение вредоносных программ, спама и потерю ценных данных. Кроме того, с помощью DCI корреляция и понимание цифровых объектов, передаваемых во многих сеансах связи, приводит к новым способам оптимизации производительности и интеллекта сети независимо от протокола или смешанных сеансов связи.

Исторически сложилось так, что DPI был разработан для обнаружения и предотвращения вторжений . Затем он использовался для обеспечения качества обслуживания , при котором потоку сетевого трафика можно приоритезировать, чтобы типы трафика, чувствительные к задержке (например, передача голоса по IP), можно было использовать для обеспечения более высокого приоритета потока.

Устройства безопасности сетевого контента нового поколения, такие как Unified Threat Management или межсетевые экраны нового поколения (Garner RAS Core Research Note G00174908), используют DPI для предотвращения атак небольшого процента вирусов и червей; сигнатуры этих вредоносных программ входят в сферу проверки DPI. Однако обнаружение и предотвращение вредоносного ПО нового поколения, такого как Conficker и Stuxnet, возможно только посредством исчерпывающего анализа, предоставляемого DCI. ^[3]

Эволюция систем DPI

Компьютерные сети передают информацию по сети из одной точки в другую; данные (иногда называемые полезной нагрузкой) «инкапсулируются» в IP-пакет , который выглядит следующим образом:

_{*Заголовок IP предоставляет информацию об адресе — адреса отправителя и назначения, а заголовок TCP/UDP предоставляет другую соответствующую информацию, такую как номер порта и т. д.}

По мере развития сетей развиваются и методы проверки; все пытаются понять полезную нагрузку. За последнее десятилетие произошли значительные улучшения, в том числе:

Фильтрация пакетов

Исторически сложилось так, что технология проверки проверяла только заголовок IP и заголовок TCP/UDP. Эти устройства, получившие название «Фильтрация пакетов», будут отбрасывать пакеты последовательности или пакеты, которые не разрешены в сети. Эта схема проверки сетевого трафика впервые использовалась межсетевыми экранами для защиты от пакетных атак.

Проверка пакетов с отслеживанием состояния

Проверка пакетов с отслеживанием состояния была разработана для проверки информации заголовка и содержимого пакета, чтобы улучшить понимание источника и места назначения. Вместо того, чтобы пропускать пакеты в зависимости от их адресов и портов, пакеты оставались в сети, если контекст соответствовал текущему «состоянию» сети. Эта схема впервые использовалась в межсетевых экранах Check Point, а затем и в системах предотвращения/обнаружения вторжений.

Глубокая проверка пакетов

Глубокая проверка пакетов в настоящее время является основным инструментом проверки, используемым для анализа пакетов данных, проходящих через сеть, включая заголовки и структуры протоколов данных. Эти технологии сканируют потоки пакетов и ищут вредоносные шаблоны.

Чтобы быть эффективными, системы глубокой проверки пакетов должны «строково» сопоставлять полезные данные пакетов с сигнатурами вредоносных программ и сигнатурами спецификаций (которые определяют, каким должен быть запрос/ответ) на проводных скоростях. Для этого используются FPGA или программируемые вентильные матрицы, сетевые процессоры или даже графические процессоры (GPU). ^[4] запрограммированы на жесткое использование этих подписей, и в результате трафик, проходящий через такие схемы, быстро сопоставляется.

Хотя использование аппаратного обеспечения позволяет выполнять быстрые и оперативные сопоставления, системы DPI имеют следующие ограничения, в том числе:

Аппаратные ограничения. Поскольку системы DPI реализуют сопоставление шаблонов (или поиск «нарушающих» шаблонов) с помощью аппаратного обеспечения, эти системы обычно ограничены:

Количество схем, которые может иметь высокопроизводительный чип DPI; по состоянию на 2011 год эта высокопроизводительная система DPI может оптимально обрабатывать около 512 запросов/ответов за сеанс.
Память, доступная для совпадений с образцом; по состоянию на 2011 год высокопроизводительные системы DPI способны сопоставлять до 60 000 уникальных подписей.

Ограничения полезной нагрузки: веб-приложения передают контент, используя двоичное кодирование в текст , сжатие (архивирование, архивирование и т. д.), обфускацию и даже шифрование . Поскольку такая структура полезной нагрузки становится более сложной, прямого сопоставления подписей по «строкам» уже недостаточно. Распространенным обходным решением является использование сигнатур одинаково «закодированными» или заархивированными, что, учитывая вышеупомянутые «ограничения поиска», не может масштабироваться для поддержки каждого типа приложения или вложенных заархивированных или заархивированных файлов .

Глубокая проверка контента

Параллельно с разработкой Deep Packet Inspection, начало Deep Content Inspection можно проследить еще в 1995 году, когда были представлены прокси-серверы, которые останавливали вредоносное ПО или спам. Глубокую проверку контента можно рассматривать как третье поколение проверки сетевого контента, при котором сетевой контент тщательно исследуется.

Первое поколение – безопасный веб-шлюз или проверка сетевого содержимого на основе прокси-сервера.

Прокси были развернуты для предоставления услуг интернет-кэширования для получения объектов и их последующей пересылки. Следовательно, весь сетевой трафик перехватывается и потенциально сохраняется. Они переросли в то, что сейчас известно как безопасные веб-шлюзы , проверки на основе прокси-серверов извлекают и сканируют объекты, сценарии и изображения.

Прокси, которые сначала извлекают контент, если он не был кэширован, а затем пересылают контент получателю, представили некоторую форму проверки файлов еще в 1995 году, когда компания Content Technologies (теперь Clearswift ) выпустила MAILsweeper, который затем был заменен на MIMEsweeper в 2005 году. В 2006 году было выпущено кроссплатформенное антивирусное программное обеспечение с открытым исходным кодом ClamAV, обеспечивающее поддержку прокси-серверов кэширования, Squid и NetCache . Используя протокол адаптации интернет-контента (ICAP) , прокси-сервер передает загруженный контент для сканирования на сервер ICAP, на котором установлено антивирусное программное обеспечение. Поскольку на сканирование передаются целые файлы или «объекты», антивирусные решения на основе прокси считаются первым поколением средств проверки сетевого содержимого.

BlueCoat, WebWasher и Secure Computing Inc. (ныне McAfee, ныне подразделение Intel) предоставили коммерческие реализации прокси-серверов, которые в конечном итоге стали стандартным сетевым элементом в большинстве корпоративных сетей.

Ограничения:Хотя прокси-серверы (или защищенные веб-шлюзы) обеспечивают углубленную проверку сетевого трафика, их использование ограничено, поскольку они:

требуют реконфигурации сети, которая осуществляется посредством: а) конечных устройств, чтобы их браузеры указывали на эти прокси-серверы; или б) на сетевых маршрутизаторах для маршрутизации трафика через эти устройства.
ограничены веб-протоколами (http) и ftp; не может сканировать другие протоколы, такие как электронная почта
и, наконец, прокси-архитектуры, которые обычно строятся на основе Squid и не могут масштабироваться с одновременными сеансами, что ограничивает их развертывание предприятиями.

Второе поколение – глубокая проверка пакетов сетевого трафика на основе шлюза/брандмауэра с помощью прокси-сервера.

Второе поколение решений для проверки сетевого трафика было реализовано в межсетевых экранах и/или UTM. Учитывая, что сетевой трафик проходит через эти устройства, в дополнение к проверке DPI возможна проверка, подобная прокси-серверу. Впервые этот подход был использован компанией NetScreen Technologies Inc. (приобретенной Juniper Networks Inc. ). Однако, учитывая высокую стоимость такой операции, эта функция применялась вместе с системой DPI и активировалась только при необходимости или когда контент не прошел проверку через систему DPI.

Третье поколение — прозрачная проверка сетевого содержимого с учетом приложений или глубокая проверка содержимого.

Третье, нынешнее, поколение проверки сетевого контента, известное как решения для глубокой проверки контента, реализовано в виде полностью прозрачных устройств, которые выполняют полную проверку содержимого на уровне приложения со скоростью передачи данных. Чтобы понять цель сеанса связи — в целом — система глубокой проверки контента должна сканировать как рукопожатие, так и полезную нагрузку. После того как цифровые объекты (исполняемые файлы, изображения, файлы JavaScript, PDF-файлы и т. д., также называемые данными в движении), содержащиеся в полезной нагрузке, созданы, может быть достигнут анализ удобства использования, соответствия требованиям и угроз этого сеанса и его полезной нагрузки. Учитывая, что последовательность установления связи и полная полезная нагрузка сеанса доступны системе DCI, в отличие от систем DPI, где возможны только простое сопоставление шаблонов и поиск по репутации, возможен исчерпывающий анализ объекта. Проверка, обеспечиваемая системами DCI, может включать сопоставление сигнатур, поведенческий анализ, анализ нормативных требований и соответствия, а также корреляцию проверяемого сеанса с историей предыдущих сеансов. Из-за доступности всех объектов полезной нагрузки и этих схем проверки системы глубокой проверки контента обычно развертываются там, где требуется высокий уровень безопасности и соответствия требованиям или где решения по обеспечению безопасности конечных точек невозможны, например, в принесите свое собственное устройство или облачные установки.

Этот подход третьего поколения Deep Content Inspection был разработан в оборонном и разведывательном сообществе и впервые появился в охранных продуктах, таких как SyBard, ^[5] и позже Wedge Networks Inc. Ключевые моменты реализации подхода этой компании можно извлечь из их патента USPTO № 7,630,379. ^[6]

Основными отличиями Deep Content Inspection являются:

Содержание

Глубокая проверка контента ориентирована на контент, а не на анализ пакетов или классификацию трафика на основе типов приложений, как, например, в межсетевых экранах следующего поколения . «Понимание» контента и его назначения — это высший уровень интеллекта, который можно получить из сетевого трафика. Это важно, поскольку поток информации перемещается от пакета к приложению и, в конечном итоге, к контенту.

Примеры уровней проверки:

Пакет: случайный образец, чтобы получить более крупное изображение
Приложение: профилирование группы или приложения. Определенные приложения или области приложений разрешены/не разрешены или сканируются дальше.
Содержание: Посмотрите на все. Сканируйте все. Подвергайте контент правилам проверки (например, правилам соответствия/предотвращения потери данных). Поймите намерение.

Мультисервисная инспекция

Из-за доступности полных объектов этой полезной нагрузки для системы глубокой проверки контента некоторые примеры услуг/инспекции могут включать в себя:

Антивредоносное ПО
Антиспам
Потеря данных для данных в движении
Нулевой день или неизвестные угрозы
Визуализация и аналитика сетевого трафика
Кодовые атаки/инъекции
Манипулирование контентом

Приложения глубокой проверки контента

DCI в настоящее время применяется предприятиями, поставщиками услуг и правительствами в качестве реакции на все более сложный интернет-трафик с преимуществами понимания полных типов файлов и их назначения. Обычно в этих организациях есть критически важные приложения с жесткими требованиями. ^[7]

Препятствия для глубокой проверки контента

Пропускная способность сети

Этот тип проверки касается протоколов реального времени, сложность и размер которых только увеличиваются. Одним из ключевых препятствий для обеспечения такого уровня проверки, то есть проверки всего контента, является пропускная способность сети. Решения должны решить эту проблему, не создавая при этом задержек в сетевой среде. Они также должны иметь возможность эффективно масштабироваться для удовлетворения требований завтрашнего дня и требований, обусловленных растущей тенденцией облачных вычислений. Один из подходов — использовать выборочное сканирование; однако, чтобы избежать снижения точности, критерии отбора должны основываться на повторяемости. Следующий патент USPTO № 7,630,379. ^[8] предоставляет схему эффективного проведения глубокой проверки контента с использованием схемы выбора повторения. Новизна этого патента заключается в том, что он решает такие проблемы, как контент (например, mp3-файл), который можно было переименовать перед передачей.

Точность услуг

Чтобы справиться с объемом трафика и информации, а затем применить услуги, требуется очень высокая скорость поиска, чтобы обеспечить эффективность. Необходимо сравнивать с платформами с полным спектром услуг, иначе весь трафик не будет использоваться эффективно. Пример часто можно встретить при работе с вирусами и вредоносным контентом, когда решения сравнивают контент только с небольшой базой данных вирусов, а не с полной и полной базой данных.

См. также

Ссылки

^ «Глубокая проверка контента и глубокая проверка пакетов». Архивировано 16 сентября 2011 г. в Wayback Machine , Wedge Networks Inc. , 2 августа 2011 г., по состоянию на 23 августа 2011 г.
^ Адхикари, Ричард. «В поисках решений безопасности завтрашнего дня сегодня, часть 1» , Tech News World , 21 июля 2011 г., по состоянию на 23 августа 2011 г.
^ Сюй, Чэнчэн (январь 2016 г.). «Опрос по сопоставлению регулярных выражений для глубокой проверки пакетов: приложения, алгоритмы и аппаратные платформы». Опросы и учебные пособия IEEE по коммуникациям . 18 (4): 2991–3029. дои : 10.1109/COMST.2016.2566669 . S2CID 2837864 .
^ Саранг, Дхармапурикар. «Глубокая проверка пакетов — какая платформа реализации» . Архивировано из оригинала 31 марта 2012 года . Проверено 31 августа 2011 г.
^ «Междоменные решения SyBard®» (PDF) . 2012. Архивировано из оригинала (PDF) 23 ноября 2016 г. Проверено 24 сентября 2017 г.
^ Моришита; и др. «Патент США 7 630 379» (PDF) . Проверено 8 декабря 2009 г.
^ Ракома, Анджело Дж. «Wedge Networks BeSecure использует глубокую проверку контента для защиты от вредоносных программ» , CMS Wire , 19 мая 2011 г., по состоянию на 1 августа 2011 г.
^ Моришита; и др. «Патент США 7 630 379» (PDF) . Проверено 8 декабря 2009 г.

[1] «Глубокая проверка контента и глубокая проверка пакетов». Архивировано 16 сентября 2011 г. в Wayback Machine , Wedge Networks Inc. , 2 августа 2011 г., по состоянию на 23 августа 2011 г.

[2] Адхикари, Ричард. «В поисках решений безопасности завтрашнего дня сегодня, часть 1» , Tech News World , 21 июля 2011 г., по состоянию на 23 августа 2011 г.

[3] Сюй, Чэнчэн (январь 2016 г.). «Опрос по сопоставлению регулярных выражений для глубокой проверки пакетов: приложения, алгоритмы и аппаратные платформы». Опросы и учебные пособия IEEE по коммуникациям . 18 (4): 2991–3029. дои : 10.1109/COMST.2016.2566669 . S2CID 2837864 .

[4] Саранг, Дхармапурикар. «Глубокая проверка пакетов — какая платформа реализации» . Архивировано из оригинала 31 марта 2012 года . Проверено 31 августа 2011 г.

[5] «Междоменные решения SyBard®» (PDF) . 2012. Архивировано из оригинала (PDF) 23 ноября 2016 г. Проверено 24 сентября 2017 г.

[6] Моришита; и др. «Патент США 7 630 379» (PDF) . Проверено 8 декабря 2009 г.

[7] Ракома, Анджело Дж. «Wedge Networks BeSecure использует глубокую проверку контента для защиты от вредоносных программ» , CMS Wire , 19 мая 2011 г., по состоянию на 1 августа 2011 г.

[8] Моришита; и др. «Патент США 7 630 379» (PDF) . Проверено 8 декабря 2009 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]