Perl-совместимые регулярные выражения

Perl-совместимые регулярные выражения
Оригинальный автор(ы)	Филип Хейзел
Стабильный релиз(ы)
PCRE1
PCRE1	8.45 / 15 июня 2021 г .; 3 года назад
PCRE2	10.43 / 16 февраля 2024 г .; 5 месяцев назад
Репозиторий	github .с /PCRE2Проект /pcre2 ;
Написано в	С
Операционная система	Кросс-платформенный
Тип	сопоставления шаблонов Библиотека
Лицензия	БСД
Веб-сайт	pcre .org

Perl Compatible Regular Expressions ( PCRE ) — это библиотека , написанная на C , которая реализует механизм регулярных выражений , вдохновленный возможностями языка программирования Perl . Филип Хейзел начал писать PCRE летом 1997 года. ^[3] Синтаксис PCRE гораздо более мощный и гибкий, чем любой из вариантов регулярных выражений POSIX (BRE, ERE). ^[4] и чем во многих других библиотеках регулярных выражений.

Хотя PCRE изначально стремился к функциональной эквивалентности Perl, эти две реализации не полностью эквивалентны. На этапе PCRE 7.x и Perl 5.9.x эти два проекта координировали разработку, при этом функции переносились между ними в обоих направлениях. ^[5]

В 2015 году была выпущена версия PCRE с обновленным программным интерфейсом (API). В исходном программном обеспечении, которое теперь называется PCRE1 (серия 1.xx–8.xx), были исправлены ошибки, но дальнейшего развития не было. По состоянию на 2020 год ^[update], он считается устаревшим, и текущая версия 8.45, скорее всего, будет последней. Новый код PCRE2 (серия 10.xx) претерпел ряд расширений и улучшений, и именно здесь ведется разработка.

Ряд известных программ с открытым исходным кодом , таких как HTTP-серверы Apache и Nginx , а также языки сценариев PHP и R , включают библиотеку PCRE; проприетарное программное обеспечение может делать то же самое, поскольку библиотека имеет лицензию BSD. Начиная с Perl 5.10, PCRE также доступен в качестве замены механизма регулярных выражений Perl по умолчанию через re::engine::PCRE модуль.

Библиотека может быть построена в Unix, Windows и некоторых других средах. PCRE2 распространяется с оболочкой POSIX C, ^{[Примечание 1]} несколько тестовых программ и служебная программа pcre2grep который построен в тандеме с библиотекой.

Функции

компилятора «точно в срок» Поддержка

Эта дополнительная функция доступна, если она включена при сборке библиотеки PCRE2. Большой выигрыш в производительности возможен, когда (например) вызывающая программа использует функцию с совместимыми шаблонами, которые выполняются повторно. Поддержка JIT-компилятора была написана Золтаном Герцегом и не рассматривается в оболочке POSIX.

Гибкое управление памятью

Использование системного стека для обратного отслеживания может быть проблематичным в PCRE1, поэтому в PCRE2 эта особенность реализации была изменена. Для этой цели теперь используется куча, и общий объем можно ограничить. Проблема переполнения стека , которая регулярно возникала в PCRE1, больше не является проблемой PCRE2, начиная с версии 10.30 (2017).

Последовательные правила побега

Как и Perl, PCRE2 имеет последовательные правила экранирования: любой небуквенно-цифровой символ может быть экранирован, чтобы обозначить его буквальное значение, путем добавления префикса \ (обратная косая черта) перед символом. Любой буквенно-цифровой символ, которому предшествует обратная косая черта, обычно придает ему особое значение. В случае, когда последовательность не определена как особая, возникает ошибка. В этом отличие от Perl, который выдает ошибку только в режиме предупреждения (PCRE2 не имеет режима предупреждения). В базовых регулярных выражениях POSIX иногда обратная косая черта экранирует небуквенно-цифровые символы (например, \.), а иногда они вводили особую функцию (например, ).

Расширенные классы персонажей

однобуквенные классы символов Помимо более длинных имен POSIX поддерживаются . Например, \d соответствует любой цифре точно так же, как [[:digit:]] будет в регулярных выражениях POSIX.

Минимальное соответствие (также известное как «нежадное»)

А ? может быть помещен после любого квантификатора повторения, чтобы указать, что следует использовать самое короткое совпадение. По умолчанию сначала пытается найти самое длинное совпадение , а затем возвращается к более коротким совпадениям: например a.*?b будет соответствовать первому «ab» в «абабаб», где a.*b будет соответствовать всей строке.

Если U установлен флаг, то квантификаторы по умолчанию не жадные (ленивые), а ? делает их жадными.

Свойства символов Юникода

Unicode определяет несколько свойств для каждого символа. Шаблоны в PCRE2 могут соответствовать этим свойствам: например \p{Ps}.*?\p{Pe} будет соответствовать строке, начинающейся с любого «начального знака препинания» и заканчивающейся любым «закрывающим знаком пунктуации», например [abc]. Сопоставление определенных «обычных» метасимволов может определяться свойствами Юникода, если установлен параметр компиляции PCRE2_UCP. Эту опцию можно установить для шаблона, включив (*UCP) в начале узора. Опция изменяет поведение следующих метасимволов: \B, \b, \D, \d, \S, \s, \W, \wи некоторые классы символов POSIX. Например, набор символов, соответствующий \w (символы слова) расширяется за счет включения букв и букв с диакритическими знаками, как определено свойствами Юникода. Такое сопоставление происходит медленнее, чем обычная альтернатива ( только ASCII ), отличная от UCP. Обратите внимание, что опция UCP требует, чтобы библиотека была встроена с поддержкой Unicode (это значение по умолчанию для PCRE2). Очень ранние версии PCRE1 поддерживали только код ASCII. Позже была добавлена поддержка UTF-8. Поддержка UTF-16 была добавлена в версии 8.30, а поддержка UTF-32 — в версии 8.32. PCRE2 всегда поддерживал все три кодировки UTF.

Многострочное сопоставление

^ и $ может совпадать только в начале и конце строки или в начале и конце каждой «строки» внутри строки, в зависимости от того, какие параметры установлены.

Параметры новой строки/переноса строки

При компиляции PCRE выбирается символ новой строки по умолчанию. Какой символ новой строки/перевода строки действует, влияет на то, где PCRE обнаруживает ^ начало линии и $ заканчивается (в многострочном режиме), а также то, что соответствует точке (независимо от многострочного режима, если не указана опция dotall). (?s) установлено). Это также влияет на процедуру сопоставления PCRE (начиная с версии 7.0): когда незакрепленный шаблон не соответствует началу последовательности новой строки, PCRE проходит всю последовательность новой строки, прежде чем повторить попытку сопоставления. Если действующая альтернатива опции новой строки включает CRLF в качестве одного из допустимых разрывов строки, она не пропускает \n в CRLF, если шаблон содержит определенные \r или \n ссылки (начиная с версии 7.3). Начиная с версии 8.10 метасимвол \N всегда соответствует любому символу, кроме символов разрыва строки. Он имеет такое же поведение, как . когда опция dotall, она же (?s) не действует.

Параметр новой строки можно изменить с помощью внешних параметров при компиляции PCRE и при его запуске. Некоторые приложения, использующие PCRE, предоставляют пользователям возможность применить этот параметр с помощью внешней опции. Таким образом, параметр новой строки также можно указать в начале шаблона, используя одно из следующих действий:

(*LF) Новая строка — это символ перевода строки. Соответствующие разрывы строк можно сопоставить с \n.
(*CR) Новая строка — это возврат каретки. Соответствующие разрывы строк можно сопоставить с \r.
(*CRLF) Новая строка/переход строки — это возврат каретки, за которым следует перевод строки. Соответствующие разрывы строк можно сопоставить с \r\n.
(*ANYCRLF) Любое из вышеперечисленного, обнаруженное в данных, вызовет обработку новой строки. Соответствующие разрывы строк можно сопоставить с (?:\r\n?|\n) или с \R. Ниже приведены настройки и параметры соответствия обратной косой черты-R.
(*ANY) Любое из вышеперечисленного плюс специальные разрывы строк в Юникоде.

Если режим не UTF-8, соответствующие разрывы строк можно сопоставить с помощью (?:\r\n?|\n|\x0B|\f|\x85)^{[Примечание 2]} или \R.

В режиме UTF-8 два дополнительных символа распознаются как разрывы строк с помощью (*ANY):

LS (разделитель строк, U+2028),
PS (разделитель абзацев, U+2029).

В Windows в данных, не поддерживающих Юникод, некоторые из ANY символы разрыва строки имеют и другие значения.

Например, \x85 может соответствовать горизонтальному многоточию, и если оно встречается во время ANY действует новая строка, это вызовет обработку новой строки.

Ниже приведены настройки и параметры соответствия обратной косой черты-R.

Параметры обратной косой черты-R

При компиляции PCRE по умолчанию выбирается то, что соответствует \R. По умолчанию может соответствовать либо разрывам строк, соответствующим ANYCRLF, либо соответствующим ANY. При необходимости значение по умолчанию можно переопределить, включив (*BSR_UNICODE) или (*BSR_ANYCRLF) в начале узора. При предоставлении (*BSR..) вариант, вы также можете предоставить (*newline) вариант, например, (*BSR_UNICODE)(*ANY)rest-of-pattern. Параметры обратной косой черты-R также можно изменить с помощью внешних параметров с помощью приложения, вызывающего PCRE2, при компиляции шаблона.

Начало вариантов узора

Параметры разрыва строки, такие как (*LF) документировано выше; параметры обратной косой черты-R, такие как (*BSR_ANYCRLF) документировано выше; Параметр «Свойства символов Юникода» (*UCP) документировано выше; (*UTF8) опция документирована следующим образом: если ваша библиотека PCRE2 скомпилирована с поддержкой UTF , вы можете указать (*UTF) в начале шаблона вместо установки внешнего параметра для вызова режима UTF-8, UTF-16 или UTF-32.

Обратные ссылки

Шаблон может ссылаться на результаты предыдущего совпадения. Например, (a|b)c\1 будет соответствовать либо «aca», либо «bcb» и не будет соответствовать, например, «acb».

Именованные подшаблоны

Подшаблон (заключенный в круглые скобки, например (...)) могут быть названы путем включения ведущего ?P<name> после открывающей скобки. Именованные подшаблоны — это функция, заимствованная PCRE из регулярных выражений Python .

Эта функция впоследствии была принята в Perl, поэтому теперь именованные группы можно определять с помощью (?<name>...) или (?'name'...), а также (?P<name>...). На именованные группы можно ссылаться, например: (?P=name) (синтаксис Python) или \k'name' (Синтаксис Perl).

Подпрограммы

В то время как обратная ссылка предоставляет механизм для ссылки на ту часть объекта, которая ранее соответствовала подшаблону, подпрограмма предоставляет механизм для повторного использования базового ранее определенного подшаблона. Параметры подшаблона, такие как независимость от регистра, фиксируются при определении подшаблона. (a.c)(?1) будет соответствовать «aacabc» или «abcadc», тогда как при использовании обратной ссылки (a.c)\1 нет, хотя оба будут соответствовать «aacaac» или «abcabc». отличную от Perl, PCRE также поддерживает конструкцию Oniguruma, для подпрограмм. Они указываются с помощью \g<subpat-number> или \g<subpat-name>.

Атомная группировка

Атомная группировка — это способ предотвращения возврата в шаблоне. Например, a++bc будет соответствовать как можно большему количеству букв «а» и никогда не отступит, чтобы попробовать на одну меньше.

Утверждения просмотра вперед и назад

Утверждение	Посмотреть назад	просмотр вперед
Позитивный	(? <= шаблон )	(? = шаблон )
Отрицательный	(? <! шаблон )	(? ! шаблон )
Утверждения просмотра назад и вперед в Perl регулярных выражениях

Шаблоны могут утверждать, что предыдущий или последующий текст содержит шаблон, не потребляя совпадающий текст (утверждение нулевой ширины). Например, / \w+(?=\t)/ соответствует слову, за которым следует табуляция , без включения самой табуляции.

Утверждения просмотра назад не могут иметь неопределенную длину, хотя (в отличие от Perl) каждая ветвь может иметь разную фиксированную длину.

\K может использоваться в шаблоне для сброса начала текущего всего матча. Это обеспечивает гибкий альтернативный подход к утверждениям просмотра назад, поскольку отброшенная часть совпадения (часть, которая предшествует \K) не обязательно фиксировать длину.

Escape-последовательности для утверждений нулевой ширины

Например \b для сопоставления «границ слов» нулевой ширины, аналогично (?<=\W)(?=\w)|(?<=\w)(?=\W)|^|$.

Рекурсивные шаблоны

Шаблон может рекурсивно ссылаться на себя или на любой подшаблон. Например, шаблон $(a*|(?R))*$ будет соответствовать любой комбинации сбалансированных круглых скобок и букв "а".

Общие уточнения

Выражения PCRE могут встраивать (?Cn), где n — некоторое число. Это вызовет внешнюю определяемую пользователем функцию через API PCRE и может использоваться для встраивания произвольного кода в шаблон.

Отличия от Perl

Различия между PCRE2 и Perl (начиная с Perl 5.9.4) включают, помимо прочего: ^[6]

До версии 10.30 рекурсивные совпадения были атомарными в PCRE и неатомарными в Perl.

Это означало, что "<<!>!>!>><>>!>!>!>" =~ /^(<(?:[^<>]+|(?3)|(?1))*>)()(!>!>!>)$/ будет соответствовать в Perl, но не в PCRE2 до версии 10.30.

Значение буфера захвата, полученное из `?` квантификатор (совпадение 1 или 0 раз), если он вложен в другой количественный буфер захвата, отличается

В Перле "aba" =~ /^(a(b)?)+$/; приведет к $1 содержащий «а» и $2 содержащий undef, но в PCRE это приведет к $2 содержащий букву "б".

PCRE позволяет присваивать именованным буферам захвата числовые имена; Perl требует, чтобы имя соответствовало правилу голых слов.

Это означает, что \g{} однозначно в Perl, но потенциально неоднозначно в PCRE.

Этой разницы больше нет со времен PCRE 8.34 (выпущенной 15 декабря 2013 г.), которая больше не позволяет именам групп начинаться с цифры. ^[7]

PCRE позволяет альтернативам в ретроспективе иметь разную длину.

В утверждениях просмотра назад и PCRE, и Perl требуют шаблонов фиксированной длины.

То есть и PCRE, и Perl запрещают использование шаблонов переменной длины с использованием кванторов в утверждениях просмотра назад.

Однако Perl требует, чтобы все альтернативные ветви утверждения просмотра назад были одинаковой длины, тогда как PCRE позволяет этим альтернативным ветвям иметь длину, отличную друг от друга, при условии, что каждая ветвь по-прежнему имеет фиксированную длину.

PCRE не поддерживает некоторые «экспериментальные» конструкции Perl.

Такой как (??{...}) (обратный вызов, возврат которого оценивается как часть шаблона), ни (?{}) конструкции, хотя последнюю можно эмулировать с помощью (?Cn).

Глаголы управления рекурсией, добавленные в серию Perl 5.9.x, также не поддерживаются.

Поддержка экспериментальных команд управления возвратом (добавленных в Perl 5.10) доступна в PCRE начиная с версии 7.3.

Они есть (*FAIL), (*F), (*PRUNE), (*SKIP), (*THEN), (*COMMIT), и (*ACCEPT).

Соответствующее использование аргументов в Perl с управляющими глаголами возврата обычно не поддерживается.

Однако обратите внимание, что начиная с версии 8.10 PCRE поддерживает следующие команды с указанным аргументом: (*MARK:markName), (*SKIP:markName), (*PRUNE:markName), и (*THEN:markName).

Начиная с версии 10.32 PCRE2 поддерживает (*ACCEPT:markName), (*FAIL:markName), и (*COMMIT:markName).

PCRE и Perl немного отличаются по своей толерантности к ошибочным конструкциям.

Perl допускает использование кванторов (?!...) конструкция, бессмысленная, но безвредная (хотя и неэффективная); PCRE выдает ошибку в версиях до 8.13.

PCRE имеет жесткое ограничение на глубину рекурсии, Perl его не имеет.

С параметрами сборки по умолчанию "bbbbXcXaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa" =~ /.X(.+)+X/ не сможет соответствовать из-за ограничения, но Perl сопоставит это правильно.

Perl использует кучу для рекурсии и не имеет жесткого ограничения на глубину рекурсии, тогда как PCRE2 имеет ограничение по умолчанию во время компиляции, которое может быть увеличено или уменьшено вызывающим приложением.

Проверка

За исключением вышеперечисленных пунктов, PCRE способен пройти тесты на языке Perl». t/op/re_tests", один из основных регрессионных тестов на уровне синтаксиса для механизма регулярных выражений Perl.

См. также

Примечания и ссылки

Примечания

^ Базовая библиотека PCRE2 обеспечивает функции сопоставления, сопоставления и замены.
^
Конечно , \x85 часть не \xC2\x85? (т.е. (?:\r\n?|\n|\x0B|\f|\xC2\x85), как U+0085 != 0x85)

Предостережение : если шаблон \xC2\x85 не помогло: поэкспериментируйте с настройками Unicode реализации RegEx или попробуйте заменить следующее:
- \x{0085}
- \u0085

Ссылки

^ Финальная версия PCRE1: https://lists.exim.org/lurker/message/20210615.162400.c16ff8a3.en.html .
^ Релизы: https://github.com/PCRE2Project/pcre2/releases.
^
Exim и PCRE: Как свободное программное обеспечение захватило мою жизнь (1999-12), Филип Хейзел , стр. 7: https://www.ukuug.org/events/winter99/proc/PH.ps
А как насчет PCRE?
- Написано летом 1997 года, размещено на ftp-сайте.
- Люди нашли это и создали список рассылки.
- Произошло несколько улучшений.
^
- Регулярное выражение – стандарт POSIX (поиск Google): https://www.google.com/search?num=100&q=%22Regular+Expression%22%7C%22Regular+Expressions%22%7C%22RegEx%22%7C%22RegExp . %22+site%3Apubs.opengroup.org+inurl%3Aonlinepubs%2F9699919799+-intitle%3A%22Index+of+%2Fonlinepubs%22+-inurl%3Aidx+-inurl%3Acontents.html+-inurl%3Atoc.html+-inurl%3A9699919799. orig+-inurl%3A2008edition+-inurl%3A2013edition+-inurl%3A2016edition+-inurl%3A2018edition
- Утилиты § Обозначение сопоставления с образцом: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/utilities/V3_chap02.html#tag_18_13
- Базовые определения § Основные регулярные выражения: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/basedefs/V1_chap09.html#tag_09_03
- Обоснование § Регулярные выражения: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/xrat/V4_xbd_chap09.html#tag_21_09
^ PCRE2 — регулярные выражения, совместимые с Perl (пересмотренный API) (2020 г.), Кембриджский университет : https://pcre.org/pcre2.txt
^ Различия между PCRE2 и Perl (13 июля 2019 г.), Филип Хейзел : https://www.pcre.org/current/doc/html/pcre2compat.html
^ Цитирую журнал изменений PCRE ( https://www.pcre.org/original/changelog.txt ): «Perl больше не позволяет именам групп начинаться с цифр, поэтому я внес это изменение и в PCRE».
^ Журнал изменений для PCRE2: https://www.pcre.org/changelog.txt .

Внешние ссылки

Официальный сайт
PCRE – список рассылки для разработчиков: https://groups.google.com/g/pcre2-dev.
PCRE — система отслеживания ошибок: https://github.com/PCRE2Project/pcre2/issues.
Сопоставление с образцом с использованием регулярных выражений (02 марта 2010 г.), Ник Макларен, Филип Хейзел: https://www-uxsup.csx.cam.ac.uk/courses/moved.REs/paper.pdf
pcre 8.43 (2019-04) — Windows Cygwin x86-64: https://www-uxsup.csx.cam.ac.uk/pub/windows/cygwin/x86_64/release/pcre/

[76a22ecb95777e7af2a48518dfc5debd-6] Базовая библиотека PCRE2 обеспечивает функции сопоставления, сопоставления и замены.

[bace6b9cc26fa4b3ba98e0869ed4f3fa-7] Конечно , \x85 часть не \xC2\x85? (т.е. (?:\r\n?|\n|\x0B|\f|\xC2\x85), как U+0085 != 0x85)

Предостережение : если шаблон \xC2\x85 не помогло: поэкспериментируйте с настройками Unicode реализации RegEx или попробуйте заменить следующее:
\x{0085}
\u0085

[3] \x{0085}

[4] \u0085

[PCRE1-1] Финальная версия PCRE1: https://lists.exim.org/lurker/message/20210615.162400.c16ff8a3.en.html .

[PCRE2-2] Релизы: https://github.com/PCRE2Project/pcre2/releases.

[073dda77f8b5f8fd09647bddbdfd70bf-3] Exim и PCRE: Как свободное программное обеспечение захватило мою жизнь (1999-12), Филип Хейзел , стр. 7: https://www.ukuug.org/events/winter99/proc/PH.ps
А как насчет PCRE?
Написано летом 1997 года, размещено на ftp-сайте.
Люди нашли это и создали список рассылки.
Произошло несколько улучшений.

[8] Написано летом 1997 года, размещено на ftp-сайте.

[9] Люди нашли это и создали список рассылки.

[10] Произошло несколько улучшений.

[e4ac0ff70c49a9478fa2d8c44bf2b644-4] 
Регулярное выражение – стандарт POSIX (поиск Google): https://www.google.com/search?num=100&q=%22Regular+Expression%22%7C%22Regular+Expressions%22%7C%22RegEx%22%7C%22RegExp . %22+site%3Apubs.opengroup.org+inurl%3Aonlinepubs%2F9699919799+-intitle%3A%22Index+of+%2Fonlinepubs%22+-inurl%3Aidx+-inurl%3Acontents.html+-inurl%3Atoc.html+-inurl%3A9699919799. orig+-inurl%3A2008edition+-inurl%3A2013edition+-inurl%3A2016edition+-inurl%3A2018edition
Утилиты § Обозначение сопоставления с образцом: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/utilities/V3_chap02.html#tag_18_13
Базовые определения § Основные регулярные выражения: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/basedefs/V1_chap09.html#tag_09_03
Обоснование § Регулярные выражения: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/xrat/V4_xbd_chap09.html#tag_21_09

[12] Регулярное выражение – стандарт POSIX (поиск Google): https://www.google.com/search?num=100&q=%22Regular+Expression%22%7C%22Regular+Expressions%22%7C%22RegEx%22%7C%22RegExp . %22+site%3Apubs.opengroup.org+inurl%3Aonlinepubs%2F9699919799+-intitle%3A%22Index+of+%2Fonlinepubs%22+-inurl%3Aidx+-inurl%3Acontents.html+-inurl%3Atoc.html+-inurl%3A9699919799. orig+-inurl%3A2008edition+-inurl%3A2013edition+-inurl%3A2016edition+-inurl%3A2018edition

[13] Утилиты § Обозначение сопоставления с образцом: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/utilities/V3_chap02.html#tag_18_13

[14] Базовые определения § Основные регулярные выражения: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/basedefs/V1_chap09.html#tag_09_03

[15] Обоснование § Регулярные выражения: https://pubs.opengroup.org/onlinepubs/9699919799.2018edition/xrat/V4_xbd_chap09.html#tag_21_09

[48c79c744a1d99fc5e30e1e948afbd20-5] PCRE2 — регулярные выражения, совместимые с Perl (пересмотренный API) (2020 г.), Кембриджский университет : https://pcre.org/pcre2.txt

[d4b1d6e7da15cd67a02350d2bcc49fb7-8] Различия между PCRE2 и Perl (13 июля 2019 г.), Филип Хейзел : https://www.pcre.org/current/doc/html/pcre2compat.html

[5237b7677dd1da0360e7942ee2de56a6-9] Цитирую журнал изменений PCRE ( https://www.pcre.org/original/changelog.txt ): «Perl больше не позволяет именам групп начинаться с цифр, поэтому я внес это изменение и в PCRE».

[5b0d0a30d96a4e793b9c2266c338db05-10] Журнал изменений для PCRE2: https://www.pcre.org/changelog.txt .

[1]

[2]

[3]

[4]

[5]

[Примечание 1]

[Примечание 2]

[6]

[7]

[8]