Оперативное проектирование

Оперативное проектирование — это процесс структурирования инструкции, которая может быть интерпретирована и понята с помощью генеративной модели ИИ . Подсказка описывающий — это текст на естественном языке, задачу, которую должен выполнить ИИ.

преобразования текста в текст Подсказкой для языковой модели может быть такой запрос, как «Что такое малая теорема Ферма ?», команда типа «напиши стихотворение о падающих листьях», или более длинное заявление, включая контекст, инструкции, и история разговоров. Быстрое проектирование может включать в себя формулировку запроса, определение стиля, предоставление соответствующего контекста или назначить роль ИИ, например «Действовать как носитель французского языка». Подсказка может включать несколько примеров, на которых модель может учиться, например, попросить модель выполнить «дом → дом, чат → кошка, чиен →» (ожидаемый ответ — собака ), подход, называемый обучением с несколькими выстрелами .

При общении с моделью преобразования текста в изображение или текста в аудио типичным приглашением является описание желаемого результата, например «высококачественная фотография космонавта верхом на лошади». или «Lo-fi медленный электрочил BPM с органическими семплами». Использование модели преобразования текста в изображение может включать добавление, удаление, выделение и изменение порядка слов для достижения желаемой темы, стиля, планировка, освещение, и эстетичный.

Контекстное обучение

Быстрое проектирование возможно благодаря контекстному обучению , определяемому как способность модели временно обучаться с помощью подсказок. Способность к контекстному обучению является возникающей способностью. больших языковых моделей . Само контекстное обучение является возникающим свойством масштаба модели , что означает разрывы. в последующих законах масштабирования возникают такие, что его эффективность увеличивается с разной скоростью в более крупных моделях, чем в меньших моделях.

В отличие от обучения и доводки под каждую конкретную задачу, которые не являются временными, то, что изучено в ходе контекстного обучения, носит временный характер. Он не переносит временные контексты или предубеждения, за исключением тех, которые уже присутствуют в наборе (предварительных) обучающих данных , от одного разговора к другому. Этот результат «меза-оптимизации» внутри слоев преобразователя - это форма метаобучения или «обучения обучению».

История

В 2018 году исследователи впервые предположили, что все ранее отдельные задачи в НЛП можно рассматривать как задачу ответа на вопрос в контексте. Кроме того, они обучили первую единую совместную многозадачную модель, которая отвечала бы на любой вопрос, связанный с задачей, например «Каково настроение», «Перевести это предложение на немецкий» или «Кто такой президент?»

В 2021 году исследователи доработали одну генеративно предварительно обученную модель (T0) для выполнения 12 задач НЛП (с использованием 62 наборов данных, поскольку каждая задача может иметь несколько наборов данных). Модель показала хорошие результаты при выполнении новых задач, превзойдя модели, обученные непосредственно на выполнении одной задачи (без предварительного обучения). Для решения задачи T0 выдается задача в структурированной подсказке, например If {{premise}} is true, is it also true that {{hypothesis}}? ||| {{entailed}}. — это подсказка, используемая для выполнения T0 решения следствия .

Хранилище подсказок сообщило, что в феврале 2022 года было доступно более 2000 общедоступных подсказок примерно для 170 наборов данных.

В 2022 году цепочки мыслей предложили метод подсказки исследователи Google .

В 2023 году несколько баз данных подсказок для преобразования текста в текст и текста в изображение стали общедоступными.

Текст в текст

Цепочка мыслей

Подсказки цепочки мыслей (CoT) — это метод, который позволяет большим языковым моделям (LLM) решать проблему как серию промежуточных шагов. прежде чем дать окончательный ответ. Подсказки по цепочке мыслей улучшают способность к рассуждению, побуждая модель отвечать на многоэтапную задачу с помощью шагов рассуждения, имитирующих ход мыслей . Это позволяет большим языковым моделям преодолевать трудности с некоторыми задачами рассуждения, которые требуют логического мышления и выполнения нескольких шагов, например арифметические вопросы или вопросы здравого смысла .

Например, на вопрос «В: В столовой было 23 яблока. Если они использовали 20 яблок, чтобы приготовить обед, и купили еще 6, сколько яблок у них есть?», подсказка CoT может побудить LLM ответить «A: Столовая Изначально у них было 23 яблока. Они использовали 20 для приготовления обеда. Итак, у них было 23 – 20 = 3. Они купили еще 6 яблок, поэтому у них есть 3 + 6 = 9. Ответ: 9».

Как первоначально предлагалось, каждая подсказка CoT включала несколько примеров вопросов и ответов. Таким образом, это была техника подсказки с несколькими выстрелами . Однако, просто добавив слова «Давайте подумаем поэтапно», также доказал свою эффективность, что делает CoT беспроигрышным методом подсказок. Это обеспечивает лучшее масштабирование, поскольку пользователю больше не нужно формулировать множество конкретных примеров вопросов и ответов CoT.

Применительно к PaLM параметров 540B , модели языка , подсказки CoT значительно помогли модели, позволив ей работать сравнимо с точно настроенными моделями для конкретных задач в нескольких задачах, достигая самых современных на тот момент результатов в математических рассуждений тесте GSM8K. . Можно точно настроить модели на основе наборов данных рассуждений CoT, чтобы еще больше расширить эти возможности и стимулировать лучшую интерпретируемость .

Пример:

 Вопрос: {вопрос}   А: Давайте подумаем шаг за шагом. 

Другие методы

Подсказки по цепочке мыслей — лишь один из многих методов разработки подсказок. Были предложены различные другие методы. Опубликовано как минимум 29 различных методов.

Подсказка по цепочке символов (CoS)

Подсказки в виде цепочки символов в сочетании с подсказками CoT помогают студентам LLM справиться с трудностями пространственного мышления в тексте. Другими словами, использование случайных символов, таких как «/», помогает LLM интерпретировать пробелы в тексте. Это помогает в рассуждениях и повышает эффективность LLM.

Пример:

Вход: Есть набор кирпичей. Желтый кирпич C находится на вершине кирпича E. Желтый кирпич D находится на вершине кирпича A. Желтый кирпич E находится на вершине кирпича D. Белый кирпич A находится на вершине кирпича B. Для кирпич Б, цвет белый. Теперь нам нужно получить конкретный кирпич. Кирпичи теперь нужно схватить сверху вниз, и если нужно схватить нижний кирпич, сначала нужно снять верхний кирпич. Как получить кирпич D?Б/А/Д/Е/СК/ЭЭ/ДДВыход:Таким образом, мы получаем результат как C, E, D. 

Подсказка сгенерированных знаний

Подсказка сгенерированных знаний сначала предлагает модели сгенерировать соответствующие факты для заполнения запроса, затем переходите к его заполнению. Качество завершения обычно выше, поскольку модель может быть обусловлена ​​соответствующими фактами.

Пример:

 Создайте некоторые знания о концепциях во входных данных.   Ввод: {вопрос}   Знание: 

От меньшего к большему

От меньшего к большему предлагает модели сначала перечислить подзадачи проблемы, а затем решить их последовательно, чтобы последующие подзадачи можно было решить с помощью ответов на предыдущие подзадачи.

Пример:

 Вопрос: {вопрос}   A: Давайте разберем эту проблему:       1. 

Самосогласованное декодирование

Самосогласованное декодирование выполняет несколько последовательных развертываний, а затем выбирает наиболее часто встречающийся вывод из всех развертываний. Если результаты во многом расходятся, человека можно спросить о правильной цепочке мыслей.

Подсказки на основе сложности

Подсказки на основе сложности выполняет несколько развертываний CoT, затем выбирает развертывания с самой длинной цепочкой размышлений, а затем выбирает из них наиболее часто приходящий вывод.

Самоусовершенствоваться

Самоусовершенствоваться предлагает LLM решить проблему, затем предлагает LLM критически оценить ее решение, затем предлагает LLM снова решить проблему с учетом проблемы, решения и критики. Этот процесс повторяется до тех пор, пока не будет остановлен либо из-за того, что закончатся токены, либо из-за того, что LLM выдаст токен «стоп».

Критический пример:

 У меня есть код. Дайте одно предложение по улучшению читабельности. Не исправляйте код, просто дайте предложение.   Код: {код}   Предположение: 

Пример уточнения:

 Код: {код}   Давайте воспользуемся этим предложением, чтобы улучшить код.   Предложение: {предложение}   Новый код: 

Древо мысли

Подсказки в виде дерева мысли обобщает цепочку мыслей, предлагая модели сгенерировать один или несколько «возможных следующих шагов», а затем запуская модель на каждом из возможных следующих шагов с помощью поиска в ширину , луча или какого-либо другого метода поиска по дереву.

Майевтическое побуждение

Майевтическое побуждение похоже на древо мысли. Модели предлагается ответить на вопрос с пояснением. Затем модели предлагается объяснить части объяснения и так далее. Непоследовательные деревья объяснений обрезаются или отбрасываются. Это повышает производительность сложных рассуждений, основанных на здравом смысле.

Пример:

 Вопрос: {вопрос}   О: Верно, потому что 

 Вопрос: {вопрос}   Ответ: Неверно, потому что 

Направленно-стимулирующее подсказывание

Направленно-стимулирующее подсказывание включает подсказку или сигнал, например желаемые ключевые слова, чтобы направить языковую модель к желаемому результату.

Пример:

 Статья: {статья}   Ключевые слова: 

 Статья: {статья}   Вопрос: Напишите краткое изложение статьи в 2–4 предложениях, точно включающее указанные ключевые слова.   Ключевые слова: {ключевые слова}   А: 

Побуждение к раскрытию неопределенности

По умолчанию выходные данные языковых моделей могут не содержать оценок неопределенности. Модель может выводить текст, который выглядит достоверным, хотя базовые прогнозы токенов имеют низкие оценки вероятности . Большие языковые модели, такие как GPT-4, могут иметь точно калиброванные оценки вероятности в прогнозах токенов. и поэтому неопределенность выходных данных модели может быть непосредственно оценена путем считывания оценок вероятности предсказания токена.

Но если кто-то не может получить доступ к таким оценкам (например, когда кто-то обращается к модели через ограничительный API), неопределенность все равно можно оценить и включить в выходные данные модели. Один простой метод — предложить модели использовать слова для оценки неопределенности. Другой способ — побудить модель отказаться отвечать стандартным способом, если входные данные не удовлетворяют условиям.

Автоматическое создание подсказок

Генерация с расширенным поиском

Двухэтапный процесс поиска документов с использованием плотных вложений и модели большого языка (LLM) для формулирования ответов.

Генерация с расширенным поиском (RAG) — это двухэтапный процесс, включающий поиск документов и формулирование ответов с помощью модели большого языка (LLM). На начальном этапе для извлечения документов используются плотные вложения. Этот поиск может быть основан на различных форматах баз данных в зависимости от варианта использования, таких как векторная база данных , сводный индекс, индекс дерева или индекс таблицы ключевых слов.

В ответ на запрос программа поиска документов выбирает наиболее релевантные документы. Эта релевантность обычно определяется путем сначала кодирования запроса и документов в векторы, а затем идентификации документов, векторы которых наиболее близки по евклидову расстоянию к вектору запроса. После извлечения документа LLM генерирует выходные данные, включающие информацию как из запроса, так и из полученных документов. Этот метод особенно полезен для обработки частной или динамической информации, которая не была включена в этапы начального обучения или точной настройки модели. RAG также примечателен использованием «многоэтапного» обучения, когда модель использует небольшое количество примеров, часто автоматически извлекаемых из базы данных, для информирования о ее результатах.

Генерация с расширенным поиском графов

GraphRAG с графом знаний, сочетающим шаблоны доступа к неструктурированным, структурированным и смешанным данным.

ГрафРАГ, Придуманный Microsoft Research, расширяет RAG таким образом, что вместо того, чтобы полагаться исключительно на сходство векторов (как в большинстве подходов RAG), GraphRAG использует граф знаний, сгенерированный LLM. Этот график позволяет модели связывать разрозненные фрагменты информации, синтезировать идеи и целостно понимать обобщенные семантические концепции в больших коллекциях данных.

Исследователи продемонстрировали эффективность GraphRAG, используя такие наборы данных, как «Информация о насильственных инцидентах из новостных статей» (VIINA). Объединив графы знаний, созданные в рамках LLM, с графовым машинным обучением, GraphRAG существенно повышает как полноту, так и разнообразие генерируемых ответов на глобальные осмысленные вопросы.

Более ранняя работа показала эффективность использования графа знаний для ответов на вопросы с использованием генерации текста в запрос. Эти методы можно комбинировать для выполнения поиска как по неструктурированным, так и по структурированным данным, обеспечивая расширенный контекст и улучшенное ранжирование.

Использование языковых моделей для создания подсказок

Сами по себе большие языковые модели (LLM) могут использоваться для составления подсказок для больших языковых моделей.

Алгоритм автоматического инженера подсказок использует один LLM для поиска по подсказкам другого LLM:

• Есть два LLM. Один из них — целевой LLM, а другой — побуждающий LLM.
• Подсказка LLM представлена ​​примерами пар ввода-вывода и предложена сгенерировать инструкции, которые могли бы заставить модель, следуя инструкциям, генерировать выходные данные с учетом входных данных.
• Каждая из сгенерированных инструкций используется для запроса целевого LLM, за которым следуют все входные данные. Логарифмические вероятности выходных данных вычисляются и складываются. Это оценка инструкции.
• Инструкции, получившие наивысшую оценку, передаются LLM, подсказывающему дальнейшие варианты.
• Повторяйте до тех пор, пока не будет достигнут какой-либо критерий остановки, затем выведите инструкции с наибольшим количеством баллов.

Примеры CoT могут быть созданы самим LLM. В «авто-ЦТ», библиотека вопросов преобразуется в векторы с помощью такой модели, как BERT . Векторы вопросов сгруппированы . Отбираются вопросы, ближайшие к центроидам каждого кластера. LLM проводит нулевую оценку эффективности по каждому вопросу. Полученные примеры CoT добавляются в набор данных. При появлении запроса на новый вопрос можно получить примеры CoT для ближайших вопросов и добавить их в запрос.

Преобразование текста в изображение

См. Также: Искусство искусственного интеллекта § Быстрое проектирование и обмен информацией.

В 2022 году преобразования текста в изображение, такие модели как DALL-E 2 , Stable Diffusion и Midjourney . были представлены Эти модели принимают текстовые подсказки в качестве входных данных и используют их для создания художественных изображений ИИ . Модели преобразования текста в изображение обычно не понимают грамматику и структуру предложений так же, как большие языковые модели . и требуют другого набора методов подсказки.

Форматы подсказок

Подсказка преобразования текста в изображение обычно включает описание предмета искусства (например, ярко-оранжевые маки ), желаемого носителя (например, цифровая живопись или фотография ), стиля (например, гиперреалистичный или поп-арт ), освещения ( например, гиперреалистичный или поп-арт). например, краевое освещение или сумеречные лучи ), цвет и текстура.

В документации Midjourney рекомендуются короткие, описательные подсказки: вместо «Покажите мне изображение множества цветущих калифорнийских маков, сделайте их яркими, ярко-оранжевыми и нарисуйте их в иллюстрированном стиле цветными карандашами», эффективной подсказкой может быть «Ярко-оранжевый». Калифорнийские маки, нарисованные цветными карандашами».

Порядок слов влияет на вывод подсказки преобразования текста в изображение. Слова, расположенные ближе к началу подсказки, могут быть выделены сильнее.

Стили исполнителей

Некоторые модели преобразования текста в изображение способны имитировать стиль конкретных художников по имени. Например, фраза в стиле Грега Рутковски использовалась в подсказках Stable Diffusion и Midjourney для создания изображений в характерном стиле польского цифрового художника Грега Рутковски .

Негативные подсказки

Демонстрация эффекта негативных подсказок на изображениях, созданных с помощью Stable Diffusion.

• Вверху : нет негативных подсказок
• Центр : «зеленые деревья».
• Внизу : «круглые камни, круглые камни».

Модели преобразования текста в изображение изначально не поддерживают отрицание. Подсказка «Вечеринка без торта», скорее всего, создаст образ, включающий торт. В качестве альтернативы, отрицательные подсказки позволяют пользователю указать в отдельной подсказке, какие термины не должны появляться в результирующем изображении. Распространенный подход состоит в том, чтобы включать общие нежелательные термины, такие как «уродливый», «скучный», «плохая анатомия» в негативную подсказку к изображению .

Преобразование текста в видео

Генерация текста в видео (TTV) — это новая технология, позволяющая создавать видео непосредственно из текстовых описаний. Эта область имеет потенциал для трансформации видеопроизводства, анимации и повествования. Используя возможности искусственного интеллекта, TTV позволяет пользователям обходить традиционные инструменты редактирования видео и воплощать свои идеи в движущиеся изображения.

Модели включают в себя:

• Runway Gen-2 – предлагает удобный интерфейс и поддерживает различные стили видео.
• Люмьер – предназначен для создания видео высокого разрешения.
• Make-a-Video – фокусируется на создании детальных и разнообразных видеоматериалов.
• Sora от OpenAI . Предполагается, что Sora, еще не выпущенная, может создавать видео с высоким разрешением.

Нетекстовые подсказки

Некоторые подходы дополняют или заменяют текстовые подсказки на естественном языке нетекстовым вводом.

Текстовая инверсия и вложения

Для моделей преобразования текста в изображение: «Текстовая инверсия». выполняет процесс оптимизации для создания нового встраивания слов на основе набора примеров изображений. Этот вектор внедрения действует как «псевдослово», которое можно включить в подсказку для выражения содержания или стиля примеров.

Подсказка изображения

В 2023 году компания Meta , занимающаяся исследованием искусственного интеллекта, выпустила Segment Anything — модель компьютерного зрения , которая может выполнять сегментацию изображений по подсказкам. В качестве альтернативы текстовым подсказкам Segment Anything может принимать ограничивающие рамки, маски сегментации и точки переднего/фонового плана.

Использование градиентного спуска для поиска подсказок

В "приставке-тюнинге" «оперативная настройка» или «мягкая подсказка», Векторы с плавающей запятой ищутся непосредственно методом градиентного спуска , чтобы максимизировать логарифмическое правдоподобие выходных данных.

Формально пусть $\mathbf {E} =\{\mathbf {e_{1}} ,\dots ,\mathbf {e_{k}} \}$ быть набором токенов мягких подсказок (настраиваемых вложений), в то время как $\mathbf {X} =\{\mathbf {x_{1}} ,\dots ,\mathbf {x_{m}} \}$ и $\mathbf {Y} =\{\mathbf {y_{1}} ,\dots ,\mathbf {y_{n}} \}$ быть встраиванием токенов ввода и вывода соответственно. Во время обучения настраиваемые внедрения, входные и выходные токены объединяются в одну последовательность. ${\text{concat}}(\mathbf {E} ;\mathbf {X} ;\mathbf {Y} )$и передаются в модели большого языка (LLM). Потери течение рассчитываются в $\mathbf {Y}$ жетоны; градиенты передаются обратно к параметрам, специфичным для подсказки: при настройке префикса они являются параметрами, связанными с токенами подсказки на каждом уровне; при быстрой настройке они являются всего лишь программными маркерами, добавляемыми в словарь.

Более формально, это оперативная настройка. Пусть LLM запишется как $LLM(X)=F(E(X))$, где $X$ представляет собой последовательность лингвистических лексем, $E$ — функция преобразования токена в вектор, а $F$ это остальная часть модели. При настройке префикса предоставляется набор пар ввода-вывода. $\{(X^{i},Y^{i})\}_{i}$, а затем используйте градиентный спуск для поиска $\arg \max _{\tilde {Z}}\sum _{i}\log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]$. Другими словами, $\log Pr[Y^{i}|{\tilde {Z}}\ast E(X^{i})]$ логарифмическая вероятность вывода $Y^{i}$, если модель сначала кодирует входные данные $X^{i}$ в вектор $E(X^{i})$, затем добавьте к вектору «префиксный вектор» ${\tilde {Z}}$, затем применить $F$.

По настройке приставки аналогично, но "вектор приставки" ${\tilde {Z}}$ добавляется к скрытым состояниям на каждом уровне модели.

Более ранний результат использует ту же идею поиска по градиентному спуску, но разработан для моделей языка с масками, таких как BERT, и ищет только по последовательностям токенов, а не по числовым векторам. Формально он ищет $\arg \max _{\tilde {X}}\sum _{i}\log Pr[Y^{i}|{\tilde {X}}\ast X^{i}]$ где ${\tilde {X}}$ диапазоны по последовательностям токенов указанной длины.

Быстрая инъекция

Основная статья: Быстрая инъекция

См. также: SQL-инъекция и межсайтовый скриптинг.

Оперативное внедрение — это семейство связанных эксплойтов компьютерной безопасности, осуществляемых путем получения модели машинного обучения (например, LLM), которая была обучена следовать инструкциям, данным человеком, для выполнения инструкций, предоставленных злонамеренным пользователем. Это контрастирует с предполагаемой работой систем, следующих инструкциям, в которых модель ML предназначена только для следования доверенным инструкциям (подсказкам), предоставленным оператором модели ML.

См. также

• Социальная инженерия (безопасность)