Федеративное обучение

Схема протокола федеративного обучения со смартфонами, обучающими глобальную модель искусственного интеллекта

Федеративное обучение (также известное как совместное обучение ) — это подобласть машинного обучения, в которой основное внимание уделяется настройкам, в которых несколько объектов (часто называемых клиентами) совместно обучают модель, гарантируя при этом, что их данные остаются децентрализованными. Это контрастирует с настройками машинного обучения, в которых данные хранятся централизованно. Одной из основных определяющих характеристик федеративного обучения является неоднородность данных. Из-за децентрализованного характера данных клиентов нет никакой гарантии, что образцы данных, хранящиеся у каждого клиента, распределяются независимо и одинаково .

Федеративное обучение обычно связано и мотивируется такими вопросами, как конфиденциальность данных , минимизация данных и права доступа к данным. Его приложения охватывают различные области исследований, включая оборону, телекоммуникации, Интернет вещей и фармацевтику.

Определение

Целью федеративного обучения является обучение алгоритма машинного обучения, например глубоких нейронных сетей , на нескольких локальных наборах данных, содержащихся в локальных узлах, без явного обмена образцами данных. Общий принцип заключается в обучении локальных моделей на локальных выборках данных и обмене параметрами (например, весами и смещениями глубокой нейронной сети) между этими локальными узлами с некоторой частотой для создания глобальной модели, общей для всех узлов.

Основное различие между федеративным обучением и распределенным обучением заключается в предположениях, сделанных о свойствах локальных наборов данных. поскольку распределенное обучение изначально направлено на распараллеливание вычислительных мощностей , тогда как федеративное обучение изначально направлено на обучение на гетерогенных наборах данных . Хотя распределенное обучение также направлено на обучение одной модели на нескольких серверах, общим базовым предположением является то, что локальные наборы данных независимы, одинаково распределены (iid) и примерно имеют одинаковый размер. Ни одна из этих гипотез не предназначена для федеративного обучения; вместо этого наборы данных обычно неоднородны, а их размеры могут составлять несколько порядков. Более того, клиенты, участвующие в федеративном обучении, могут быть ненадежными, поскольку они подвержены большему количеству сбоев или отсева, поскольку они обычно полагаются на менее мощные средства связи (например, Wi-Fi ) и системы с батарейным питанием (например, смартфоны и устройства IoT) по сравнению с распределенное обучение, при котором узлы обычно представляют собой центры обработки данных , обладающие мощными вычислительными возможностями и связанные друг с другом быстрыми сетями.

формулировка

Целевая функция федеративного обучения выглядит следующим образом:

$f(\mathbf {x} _{1},\dots ,\mathbf {x} _{K})={\dfrac {1}{K}}\sum _{i=1}^{K}f_{i}(\mathbf {x} _{i})$

где $K$ количество узлов, $\mathbf {x} _{i}$ это веса модели, просматриваемые узлом $i$, и $f_{i}$ это узел $i$локальная целевая функция, которая описывает, как модели весят $\mathbf {x} _{i}$ соответствует узлу $i$локальный набор данных.

Целью федеративного обучения является обучение общей модели на всех локальных наборах данных узлов, другими словами:

• Оптимизация целевой функции $f(\mathbf {x} _{1},\dots ,\mathbf {x} _{K})$.
• Достижение консенсуса по $\mathbf {x} _{i}$. Другими словами, $\mathbf {x} _{1},\dots ,\mathbf {x} _{K}$ сходятся к какому-то общему $\mathbf {x}$ в конце тренировочного процесса.

обучение

В условиях централизованного федеративного обучения центральный сервер используется для координации различных этапов алгоритмов и координации всех участвующих узлов в процессе обучения. Сервер отвечает за выбор узлов в начале процесса обучения и за агрегацию полученных обновлений модели. Поскольку все выбранные узлы должны отправлять обновления одному объекту, сервер может стать узким местом системы.

Диаграммы централизованного федеративного обучения (слева) и децентрализованного федеративного обучения (справа)

обучение

В условиях децентрализованного федеративного обучения узлы могут координировать свои действия для получения глобальной модели. Такая настройка предотвращает единичные сбои, поскольку обновления модели передаются только между взаимосвязанными узлами без оркестровки центрального сервера. Тем не менее, конкретная топология сети может повлиять на производительность процесса обучения. См. федеративное обучение на основе блокчейна и ссылки в нем.

обучение

Все большее число доменов приложений включает в себя большой набор разнородных клиентов, например, мобильные телефоны и устройства IoT. Большинство существующих стратегий федеративного обучения предполагают, что локальные модели имеют одну и ту же архитектуру глобальной модели. Недавно была разработана новая среда федеративного обучения под названием HeteroFL для работы с разнородными клиентами, оснащенными совершенно разными вычислительными и коммуникационными возможностями. Метод HeteroFL может обеспечить обучение гетерогенных локальных моделей с динамически меняющимися вычислениями и сложностью данных, не относящихся к IID , при этом создавая единую точную глобальную модель вывода.

Общий процесс федеративного обучения в настройке центрального оркестратора

Основные возможности

обучение

Чтобы обеспечить хорошее выполнение задач окончательной центральной модели машинного обучения, федеративное обучение опирается на итерационный процесс, разбитый на атомарный набор взаимодействий клиент-сервер, известный как раунд федеративного обучения. Каждый раунд этого процесса состоит в передаче текущего состояния глобальной модели участвующим узлам, обучении локальных моделей на этих локальных узлах созданию набора потенциальных обновлений модели на каждом узле, а затем агрегировании и обработке этих локальных обновлений в одно глобальное обновление и применить его к глобальной модели.

В приведенной ниже методологии для агрегации используется центральный сервер, а локальные узлы выполняют локальное обучение в зависимости от приказов центрального сервера. Однако другие стратегии приводят к тем же результатам без центральных серверов, при одноранговом подходе, используя сплетни. или консенсусные методологии.

Если предположить, что объединенный раунд состоит из одной итерации процесса обучения, процедуру обучения можно резюмировать следующим образом:

1. Инициализация : в соответствии с входными данными сервера выбирается модель машинного обучения (например, линейная регрессия , нейронная сеть, бустинг ) для обучения на локальных узлах и инициализации. Затем узлы активируются и ждут, пока центральный сервер выдаст задачи расчета.
2. Выбор клиента : для начала обучения на локальных данных выбирается часть локальных узлов. Выбранные узлы получают текущую статистическую модель, в то время как остальные ждут следующего раунда объединения.
3. Конфигурация : центральный сервер приказывает выбранным узлам пройти обучение модели на их локальных данных заранее заданным способом (например, для некоторых мини-пакетных обновлений градиентного спуска ).
4. Отчетность : каждый выбранный узел отправляет свою локальную модель на сервер для агрегации. Центральный сервер агрегирует полученные модели и отправляет обновления моделей обратно узлам. Он также обрабатывает сбои отключенных узлов или потерю обновлений модели. Начинается следующий федеративный раунд, возвращающийся к этапу выбора клиента.
5. Прекращение : как только достигается заранее определенный критерий завершения (например, достигается максимальное количество итераций или точность модели превышает пороговое значение), центральный сервер объединяет обновления и завершает глобальную модель.

Рассмотренная выше процедура предполагает синхронизированное обновление модели. Недавние разработки в области федеративного обучения представили новые методы борьбы с асинхронностью в процессе обучения или обучения с использованием динамически изменяющихся моделей. По сравнению с синхронными подходами, при которых локальные модели обмениваются после выполнения вычислений для всех слоев нейронной сети, асинхронные используют свойства нейронных сетей для обмена обновлениями модели, как только становятся доступны вычисления определенного слоя. Эти методы также часто называют раздельным обучением. и их можно применять как во время обучения, так и во время вывода, независимо от централизованного или децентрализованного федеративного обучения.

, не относящиеся к IID Данные

В большинстве случаев предположение о независимых и одинаково распределенных выборках по локальным узлам не справедливо для установок федеративного обучения. При этой настройке производительность процесса обучения может значительно различаться в зависимости от несбалансированных выборок локальных данных, а также от конкретного распределения вероятностей обучающих примеров (т. е. признаков и меток ), хранящихся в локальных узлах. Для дальнейшего изучения влияния данных, не относящихся к IID, в следующем описании рассматриваются основные категории, представленные в препринте Питера Кайруза и др. с 2019 года.

Описание данных, отличных от IID, основано на анализе совместной вероятности между объектами и метками для каждого узла.Это позволяет разделить каждый вклад в соответствии с конкретным распределением, доступным на локальных узлах.Основные категории данных, не относящихся к IID, можно резюмировать следующим образом:

• Ковариатный сдвиг : локальные узлы могут хранить примеры, статистические распределения которых отличаются от других узлов. Пример возникает в наборах данных обработки естественного языка , где люди обычно пишут одни и те же цифры/буквы с разной шириной штриха или наклоном.
• Сдвиг априорной вероятности : локальные узлы могут хранить метки, статистические распределения которых отличаются от других узлов. Это может произойти, если наборы данных разделены по региональному и/или демографическому признаку. Например, наборы данных, содержащие изображения животных, значительно различаются от страны к стране.
• Дрейф концепции ( одна и та же метка, разные функции ): локальные узлы могут иметь одни и те же метки, но некоторые из них соответствуют разным функциям на разных локальных узлах. Например, изображения, изображающие конкретный объект, могут различаться в зависимости от погодных условий, в которых они были сделаны.
• Смена концепции ( те же функции, разные метки ): локальные узлы могут иметь одни и те же функции, но некоторые из них соответствуют разным меткам на разных локальных узлах. Например, при обработке естественного языка анализ настроений может выявить разные настроения, даже если наблюдается один и тот же текст.
• Несбалансированный : объем данных, доступных на локальных узлах, может значительно различаться по размеру.

Потерю точности из-за данных, отличных от iid, можно ограничить, используя более сложные средства нормализации данных, а не пакетную нормализацию.

Алгоритмические гиперпараметры

Топология сети

Способ объединения статистических локальных результатов и способ взаимодействия узлов друг с другом могут отличаться от централизованной модели, описанной в предыдущем разделе. Это приводит к различным подходам к федеративному обучению: например, отсутствие центрального сервера оркестрации или стохастическая связь.

В частности, одним из важных вариантов являются распределенные сети без оркестратора. В этом случае отсутствует центральный сервер, отправляющий запросы к локальным узлам и агрегирующий локальные модели. Каждый локальный узел отправляет свои выходные данные нескольким случайно выбранным узлам, которые агрегируют свои результаты локально. Это ограничивает количество транзакций, тем самым иногда сокращая время обучения и затраты на вычисления.

Параметры федеративного обучения

После выбора топологии сети узлов можно управлять различными параметрами процесса федеративного обучения (в дополнение к собственным гиперпараметрам модели машинного обучения) для оптимизации обучения:

• Количество раундов федеративного обучения: $T$
• Общее количество узлов, используемых в процессе: $K$
• Доля узлов, используемых на каждой итерации для каждого узла: $C$
• Размер локального пакета, используемый на каждой итерации обучения: $B$

Также можно изменить другие параметры, зависящие от модели, например:

• Количество итераций локального обучения перед объединением в пул: $N$
• Локальная скорость обучения: $\eta$

Эти параметры необходимо оптимизировать в зависимости от ограничений приложения машинного обучения (например, доступной вычислительной мощности, доступной памяти, пропускной способности ). Например, стохастический выбор ограниченной дроби $C$ узлов для каждой итерации снижает вычислительные затраты и может предотвратить переобучение , точно так же, как стохастический градиентный спуск может уменьшить переобучение.

Технические ограничения

Федеративное обучение требует частого взаимодействия между узлами во время процесса обучения. Таким образом, для обмена параметрами модели машинного обучения требуется не только достаточная локальная вычислительная мощность и память, но и соединения с высокой пропускной способностью. Однако эта технология также позволяет избежать передачи данных, которая может потребовать значительных ресурсов перед запуском централизованного машинного обучения. Тем не менее, устройства, обычно используемые в федеративном обучении, ограничены в средствах связи, например, устройства IoT или смартфоны обычно подключаются к сетям Wi-Fi, поэтому, даже если передача моделей обычно обходится дешевле по сравнению с необработанными данными, механизмы федеративного обучения могут оказаться непригодными в своей общей форме.

Федеративное обучение порождает несколько статистических проблем:

• Неоднородность между различными локальными наборами данных: каждый узел может иметь некоторую предвзятость по отношению к генеральной совокупности, а размер наборов данных может значительно различаться;
• Временная неоднородность: распределение каждого локального набора данных может меняться со временем;
• Функциональная совместимость набора данных каждого узла является обязательным условием;
• Набор данных каждого узла может требовать регулярного курирования;
• Сокрытие данных обучения может позволить злоумышленникам внедрить бэкдоры в глобальную модель;
• Отсутствие доступа к глобальным данным по обучению затрудняет выявление нежелательных предубеждений при обучении, например возраста, пола, сексуальной ориентации;
• Частичная или полная потеря обновлений модели из-за сбоев узлов, влияющих на глобальную модель;
• Отсутствие аннотаций или меток на стороне клиента.
• Неоднородность между процессинговыми платформами

обучения

В этом разделе приводятся обозначения статьи, опубликованной Х. Бренданом МакМаханом и др. в 2017 году следует.

Для описания федеративных стратегий введем некоторые обозначения:

• $K$ : общее количество клиентов;
• $k$ : индекс клиентов;
• $n_{k}$: количество выборок данных, доступных во время обучения клиента. $k$;
• $k_{t}$: вектор веса модели на клиенте $k$, в федеративном раунде $t$;
• $\ell (w,b)$ : функция потерь для весов $w$ и партия $b$;
• $E$ : количество локальных обновлений;

стохастический градиентный спуск (

Обучение глубокому обучению в основном опирается на варианты стохастического градиентного спуска , где градиенты вычисляются на случайном подмножестве общего набора данных, а затем используются для выполнения одного шага градиентного спуска.

Федеративный стохастический градиентный спуск представляет собой прямой перенос этого алгоритма в федеративную настройку, но с использованием случайной дроби $C$ узлов и используя все данные на этом узле. Градиенты усредняются сервером пропорционально количеству обучающих выборок на каждом узле и используются для создания шага градиентного спуска.

Федеративное усреднение

Федеративное усреднение (FedAvg) — это обобщение FedSGD, которое позволяет локальным узлам выполнять более одного пакетного обновления локальных данных и обмениваться обновленными весами, а не градиентами. Обоснование этого обобщения заключается в том, что в FedSGD, если все локальные узлы начинаются с одной и той же инициализации, усреднение градиентов строго эквивалентно усреднению самих весов. Кроме того, усреднение настроенных весов, полученных в результате одной и той же инициализации, не обязательно ухудшает производительность полученной усредненной модели.

Федеративное обучение с динамической регуляризацией (FedDyn)

Методы федеративного обучения страдают, когда наборы данных устройств распределены неоднородно. Фундаментальная дилемма при настройке гетерогенно распределенных устройств заключается в том, что минимизация функций потерь устройства — это не то же самое, что минимизация глобальных потерь. В 2021 году Акар и др. представил метод FedDyn как решение проблемы настройки гетерогенного набора данных. FedDyn динамически упорядочивает функцию потерь каждого устройства, так что измененные потери устройства сходятся к фактическим глобальным потерям. Поскольку локальные потери выровнены, FedDyn устойчив к различным уровням неоднородности и может безопасно выполнять полную минимизацию в каждом устройстве. Теоретически FedDyn сходится к оптимальному (стационарной точке для невыпуклых потерь), будучи независимым от уровней неоднородности. Эти утверждения подтверждены обширными экспериментами на различных наборах данных.

Минимизация количества коммуникаций является золотым стандартом для сравнения в федеративном обучении. Мы также можем захотеть уменьшить уровни локальных вычислений на устройство в каждом раунде. FedDynOneGD является расширением FedDyn с меньшими требованиями к локальным вычислениям. FedDynOneGD рассчитывает только один градиент для каждого устройства в каждом раунде и обновляет модель регуляризованной версией градиента. Следовательно, сложность вычислений линейно зависит от размера локального набора данных. Более того, вычисление градиента можно распараллеливать внутри каждого устройства, что отличается от последовательных шагов SGD. Теоретически FedDynOneGD обеспечивает те же гарантии сходимости, что и FedDyn, с меньшим количеством локальных вычислений.

Персонализированное федеративное обучение путем сокращения (Sub-FedAvg)

Методы федеративного обучения не могут обеспечить хорошую глобальную производительность при настройках, отличных от IID, что мотивирует участвующих клиентов создавать персонализированные модели в федерации. Недавно Вахидиан и др. представил Sub-FedAvg, открыв новую парадигму персонализированного алгоритма FL, предложив гибридное сокращение (структурированное + неструктурированное сокращение) с усреднением на пересечении нарисованных клиентами подсетей, которое одновременно учитывает эффективность связи, ограничения ресурсов и точность персонализированных моделей.

Sub-FedAvg — первая работа, которая посредством экспериментов демонстрирует существование персонализированных выигрышных билетов для клиентов в рамках федеративного обучения. Более того, он также предлагает два алгоритма эффективного построения персонализированных подсетей. Sub-FedAvg пытается распространить « гипотезу лотерейного билета », которая касается нейронных сетей с централизованным обучением, на обученные нейронные сети с федеративным обучением, что приводит к открытой исследовательской проблеме: «Существуют ли выигрышные билеты для нейронных сетей клиентов, обучающихся федеративному обучению? Если да, то как эффективно создать персонализированные подсети для каждого клиента?»

Динамическая агрегация —

IDA (агрегация обратного расстояния) — это новый подход адаптивного взвешивания для клиентов, основанный на метаинформации, который обрабатывает несбалансированные и не iid данные. Он использует расстояние между параметрами модели в качестве стратегии минимизации влияния выбросов и повышения скорости сходимости модели.

Гибридное федеративное восхождение с двойной координатой

Существует очень мало методов гибридного федеративного обучения, в которых клиенты хранят только подмножества функций и образцов. Тем не менее, этот сценарий очень важен в практических условиях. Гибридное федеративное восхождение с двумя координатами (HyFDCA) — это новый алгоритм, предложенный в 2024 году, который решает выпуклые задачи в гибридной настройке FL. Этот алгоритм расширяет CoCoA, алгоритм первично-двойственной распределенной оптимизации, представленный Джагги и др. (2014) и Смит и др. (2017), к случаю, когда и примеры, и функции распределяются между клиентами.

HyFDCA заявляет о нескольких улучшениях по сравнению с существующими алгоритмами:

• HyFDCA — это доказуемо сходящийся первично-двойственный алгоритм для гибридного FL, по крайней мере, в следующих настройках.
  • Гибридная федеративная установка с полным участием клиента
  • Горизонтальная федеративная настройка со случайными подмножествами доступных клиентов
    • Авторы показывают, что HyFDCA имеет скорость сходимости O ( 1 ⁄ t ), что соответствует скорости сходимости FedAvg (см. ниже).
  • Вертикальная федеративная установка с неполным участием клиента
    • Авторы показывают, что HyFDCA имеет скорость сходимости O ( log(t) ⁄ t ), тогда как FedBCD демонстрирует более медленный O ( 1 ⁄ sqrt(t) ) скорость конвергенции и требует полного участия клиента.
• HyFDCA предоставляет шаги по обеспечению конфиденциальности, которые обеспечивают конфиденциальность данных клиента в настройке Primal-Dual. Эти принципы применимы к будущим усилиям по разработке первично-двойственных алгоритмов для FL.
• HyFDCA эмпирически превосходит HyFEM и FedAvg по значению функции потерь и точности проверки для множества настроек задачи и наборов данных (более подробную информацию см. ниже). Авторы также представляют структуру выбора гиперпараметров для FL с конкурирующими метриками, используя идеи многокритериальной оптимизации.

Есть только один другой алгоритм, ориентированный на гибридную FL, — HyFEM, предложенный Чжаном и др. (2020). В этом алгоритме используется формула сопоставления функций, которая балансирует между клиентами, создающими точные локальные модели, и сервером, изучающим точную глобальную модель. Для этого требуется соответствующая константа регуляризатора, которая должна быть настроена в зависимости от целей пользователя и приводит к несопоставимым локальным и глобальным моделям. Более того, результаты сходимости, предоставленные для HyFEM, доказывают сходимость только формулировки согласования, а не исходной глобальной проблемы. Эта работа существенно отличается от подхода HyFDCA, который использует данные о локальных клиентах для построения глобальной модели, которая сходится к тому же решению, как если бы модель обучалась централизованно. Более того, локальная и глобальная модели синхронизированы и не требуют настройки параметра соответствия между локальной и глобальной моделями. Однако HyFEM подходит для широкого спектра архитектур, включая архитектуры глубокого обучения, тогда как HyFDCA предназначен для выпуклых задач, таких как логистическая регрессия и машины опорных векторов.

HyFDCA эмпирически сравнивается с вышеупомянутым HyFEM, а также с популярным FedAvg при решении выпуклых задач (в частности, задач классификации) для нескольких популярных наборов данных (MNIST, Covtype и News20). Авторы обнаружили, что HyFDCA сходится к более низкому значению потерь и более высокой точности проверки за меньшее общее время в 33 из 36 рассмотренных сравнений и в 36 из 36 рассмотренных сравнений в отношении количества внешних итераций. Наконец, HyFDCA требует настройки только одного гиперпараметра — количества внутренних итераций, в отличие от FedAvg (который требует настройки три) или HyFEM (который требует настройки четыре). Помимо того, что FedAvg и HyFEM довольно сложно оптимизировать гиперпараметры, что, в свою очередь, сильно влияет на сходимость, единственный гиперпараметр HyFDCA позволяет упростить практические реализации и методологии выбора гиперпараметров.

Федеративный ViT агрегирования (FED-

Федеративное обучение (FL) обеспечивает обучение глобальной общей модели с использованием децентрализованных источников данных на пограничных узлах при сохранении конфиденциальности данных. Однако его производительность в приложениях компьютерного зрения, использующих нейронную сеть Convolution (CNN), значительно отстает от производительности централизованного обучения из-за ограниченных коммуникационных ресурсов и низкой вычислительной мощности на граничных узлах. Альтернативно, модели трансформаторов Pure Vision (VIT) превосходят CNN почти в четыре раза, когда дело касается вычислительной эффективности и точности. Следовательно, мы предлагаем новую модель FL с реконструктивной стратегией под названием FED-REV. Она иллюстрирует, как структуры, основанные на внимании (чистые преобразователи зрения), повышают точность FL для больших и разнообразных данных, распределенных по граничным узлам, в дополнение к предлагаемой стратегии реконструкции, которая определяет влияние размеров каждого этапа преобразователя Vision, а затем уменьшает его размерную сложность, что снижает стоимость вычислений периферийных устройств в дополнение к сохранению точности, достигнутой за счет использования чистого преобразователя Vision.

Текущие темы исследований

Федеративное обучение начало становиться важной темой исследований в 2015 году. и 2016 г., с первыми публикациями по федеративному усреднению в сфере телекоммуникаций. До этого в дипломной работе под названием «Структура предварительной выборки из нескольких источников посредством адаптивного веса» Был предложен подход к агрегированию прогнозов на основе нескольких моделей, обученных в трех точках цикла ответа на запрос. Еще одним важным аспектом активных исследований является снижение коммуникационной нагрузки в процессе федеративного обучения. В 2017 и 2018 годах в публикациях уделялось особое внимание разработке стратегий распределения ресурсов, особенно для сокращения требования между узлами с алгоритмами сплетен а также на характеристике устойчивости к дифференциальным атакам на конфиденциальность. Другая исследовательская деятельность сосредоточена на уменьшении пропускной способности во время обучения с помощью методов разрежения и квантования. где модели машинного обучения разрежены и/или сжимаются перед передачей другим узлам. Разработка сверхлегких архитектур DNN имеет важное значение для обучения устройств и периферийных устройств, а недавние работы учитывают как требования к энергоэффективности, так и требования к энергоэффективности. для будущего федеративного обучения и необходимости сжимать глубокое обучение, особенно во время обучения.

Последние научные достижения начинают учитывать реальные каналы распространения. как и в предыдущих реализациях, предполагались идеальные каналы. Еще одним активным направлением исследований является развитие федеративного обучения для обучения гетерогенных локальных моделей с различной сложностью вычислений и создания единой мощной глобальной модели вывода.

Недавно была разработана система обучения под названием «Вспомогательное обучение» для улучшения возможностей обучения каждого агента без передачи личных данных, моделей и даже целей обучения. По сравнению с федеративным обучением, которое часто требует центрального контроллера для управления обучением и оптимизацией, вспомогательное обучение направлено на предоставление агентам протоколов для оптимизации и обучения между собой без глобальной модели.

Варианты использования

Федеративное обучение обычно применяется, когда отдельным участникам необходимо обучать модели на более крупных наборах данных, чем их собственные, но они не могут позволить себе делиться этими данными с другими (например, по юридическим, стратегическим или экономическим причинам). Технология пока требует хороших соединений между локальными серверами и минимальной вычислительной мощности для каждого узла.

Транспорт: беспилотные автомобили

В беспилотных автомобилях реализовано множество технологий машинного обучения: компьютерное зрение для анализа препятствий, машинное обучение для адаптации своего темпа к окружающей среде (например, неровности дороги). Из-за потенциально большого количества беспилотных автомобилей и необходимости быстрого реагирования на реальные ситуации традиционный облачный подход может создавать риски для безопасности. Федеративное обучение может стать решением для ограничения объема передачи данных и ускорения процессов обучения.

Индустрия 4.0

В Индустрии 4.0 широкое распространение получили методы машинного обучения. повысить эффективность и результативность производственного процесса, гарантируя при этом высокий уровень безопасности. Тем не менее, конфиденциальность конфиденциальных данных для отраслей и производственных компаний имеет первостепенное значение. Для решения этих проблем можно применить алгоритмы федеративного обучения, поскольку они не раскрывают никаких конфиденциальных данных. Кроме того, FL также реализовал прогнозирование PM2,5 для поддержки приложений измерения умного города.

:

Федеративное обучение направлено на решение проблемы управления данными и конфиденциальности путем совместного обучения алгоритмов без обмена самими данными. Сегодняшний стандартный подход к централизации данных из нескольких центров достигается за счет серьезных проблем, касающихся конфиденциальности пациентов и защиты данных. Для решения этой проблемы критически важной технологией является возможность масштабного обучения моделей машинного обучения в нескольких медицинских учреждениях без перемещения данных. Nature Digital Medicine опубликовала статью «Будущее цифрового здравоохранения с федеративным обучением». в сентябре 2020 года, в которой авторы исследуют, как федеративное обучение может обеспечить решение для будущего цифрового здравоохранения, и подчеркивают проблемы и соображения, которые необходимо решить. Недавно сотрудничество 20 различных учреждений по всему миру подтвердило полезность обучения моделей ИИ с использованием федеративного обучения. В статье, опубликованной в журнале Nature Medicine «Федеративное обучение для прогнозирования клинических результатов у пациентов с COVID-19», они продемонстрировали точность и обобщаемость объединенной модели искусственного интеллекта для прогнозирования потребности в кислороде у пациентов с инфекцией COVID-19. Кроме того, в опубликованной статье «Систематический обзор федеративного обучения в сфере здравоохранения: с точки зрения свойств данных и приложений» авторы пытаются представить ряд задач по проблемам FL с точки зрения медицинских данных.

Коалиция представителей промышленности и научных кругов разработала MedPerf, платформа с открытым исходным кодом, которая позволяет проверять модели медицинского ИИ на реальных данных. Платформа технически опирается на объединенную оценку моделей искусственного интеллекта, направленную на снижение беспокойства о конфиденциальности пациентов, а концептуально - на различные комитеты по тестированию для создания спецификаций нейтральных клинически эффективных тестов.

Робототехника

Робототехника включает в себя широкий спектр применения методов машинного обучения: от восприятия и принятия решений до управления. Поскольку роботизированные технологии все чаще переходят от простых и повторяющихся задач (например, повторяющихся манипуляций) к сложным и непредсказуемым задачам (например, автономной навигации), потребность в машинном обучении растет. Федеративное обучение предлагает решение, позволяющее улучшить традиционные методы обучения машинному обучению. В газете мобильные роботы научились ориентироваться в различных средах, используя метод на основе FL, что способствовало обобщению. В газете Федеративное обучение применяется для улучшения навигации нескольких роботов в сценариях с ограниченной пропускной способностью связи, что является текущей проблемой в реальных роботизированных задачах, основанных на обучении. В газете Федеративное обучение используется для изучения навигации на основе Vision, помогая лучше передавать данные из сим-карты в реальность.

Внешние ссылки

• «Регламент (ЕС) 2016/679 Европейского парламента и Совета от 27 апреля 2016 г.» на сайте eur-lex.europa.eu. Проверено 18 октября 2019 г.
• «Методы минимизации данных и сохранения конфиденциальности в системах искусственного интеллекта». Архивировано 23 июля 2020 г. в Wayback Machine в офисе комиссара по информации Великобритании. Проверено 22 июля 2020 г.
• «Реализация потенциала данных при сохранении конфиденциальности с помощью EyA и Conclave от R3» на сайте eya.global. Проверено 31 марта 2022 г.