✖


Jump to content

Тесла Додзё

Tesla Dojo — это суперкомпьютер , разработанный и построенный Tesla для обработки и распознавания видео с помощью компьютерного зрения . [1] Tesla машинного обучения Он используется для обучения моделей Full Self-Driving (FSD) с целью усовершенствования усовершенствованной системы помощи водителю . По данным Tesla, он был запущен в производство в июле 2023 года. [2]

Цель Dojo — эффективно обрабатывать миллионы терабайт видеоданных, снятых в реальных ситуациях вождения с более чем 4 миллионов автомобилей Tesla. [3] Эта цель привела к созданию архитектуры, значительно отличающейся от архитектуры традиционных суперкомпьютеров. [4] [5]

История

[ редактировать ]

Tesla управляет несколькими массово- параллельными вычислительными кластерами для разработки своей усовершенствованной системы помощи водителю Autopilot . Его основной безымянный кластер, использующий 5760 (GPU) Nvidia A100 графических процессоров , был рекламирован Андреем Карпати в 2021 году на четвертой Международной совместной конференции по компьютерному зрению и распознаванию образов (CCVPR 2021) как «примерно суперкомпьютер номер пять в мире». [6] примерно на уровне 81,6 петафлопс , исходя из масштабирования производительности суперкомпьютера Nvidia Selene , в котором используются аналогичные компоненты. [7] Однако производительность основного кластера графических процессоров Tesla оспаривается, поскольку неясно, измерялась ли она с использованием чисел с плавающей запятой одинарной или двойной точности ( FP32 или FP64 ). [8] Tesla также управляет вторым кластером на 4032 графических процессора для обучения и третьим кластером на 1752 графических процессора для автоматической маркировки объектов. [9] [10]

Основной безымянный кластер графических процессоров Tesla использовался для обработки миллиона видеоклипов продолжительностью десять секунд каждый, снятых с камер Tesla Autopilot, работающих в автомобилях Tesla в реальном мире и работающих со скоростью 36 кадров в секунду . В совокупности эти видеоклипы содержали шесть миллиардов меток объектов с данными о глубине и скорости; общий размер набора данных составил 1,5 петабайта . Этот набор данных использовался для обучения нейронной сети , призванной помочь компьютерам автопилота в автомобилях Tesla понимать дороги. [6] К августу 2022 года Tesla модернизировала основной кластер графических процессоров до 7360 графических процессоров. [11]

Додзё впервые было упомянуто Маском в апреле 2019 года во время «Дня автономного инвестора» Tesla. [12] В августе 2020 года [6] [13] Маск заявил, что до этого осталось «около года» из-за проблем с электропитанием и температурой. [14]

Определяющей целью [Dojo] является масштабируемость . Мы уменьшили значение некоторых механизмов, которые можно встретить в типичных процессорах , таких как когерентность , виртуальная память и глобальные каталоги поиска, только потому, что эти механизмы не очень хорошо масштабируются... Вместо этого мы полагались на очень быструю и очень распределенную SRAM [ статическая оперативная память ] хранение по всей сетке . И это подкреплено на порядок более высокой скоростью межсоединений, чем та, которую можно найти в типичной распределенной системе .

— Эмиль Тальпес, инженер по аппаратному обеспечению Tesla, The Next Platform, 2022 г. статья [5]

О Додзё было официально объявлено на Дне искусственного интеллекта (ИИ) Теслы 19 августа 2021 года. [15] Tesla раскрыла подробности о чипе D1 и своих планах относительно «Проекта Додзё», центра обработки данных, в котором будет размещено 3000 чипов D1; [16] первая «Обучающая плитка» была завершена и доставлена ​​неделей ранее. [9] «Dojo Technology», В октябре 2021 года Tesla выпустила технический документ описывающий форматы плавающей запятой и арифметические операции Configuration Float8 (CFloat8) и Configuration Float16 (CFloat16) как расширение Института инженеров по электротехнике и электронике стандарта 754 (IEEE) . [17]

На последующем Дне искусственного интеллекта в сентябре 2022 года Tesla объявила, что построила несколько системных лотков и один шкаф. Во время испытаний компания заявила, что Project Dojo потреблял 2,3 мегаватта (МВт) электроэнергии, прежде чем отключил местную электроподстанцию ​​в Сан-Хосе, штат Калифорния. [18] В то время Тесла собирал одну тренировочную плитку в день. [10]

В августе 2023 года Tesla запустила Dojo для производственного использования, а также новый учебный кластер, оснащенный 10 000 графическими процессорами Nvidia H100 . [19]

В январе 2024 года Маск охарактеризовал Додзё как «отдаленную попытку, которую стоит предпринять, потому что отдача потенциально очень высока. Но это не то, что имеет высокую вероятность». [20]

В июне 2024 года Маск объяснил, что текущие строительные работы на Gigafactory Texas предназначены для вычислительного кластера, утверждая, что он будет состоять из равномерного сочетания «Tesla AI» и Nvidia/другого оборудования с общей расчетной тепловой мощностью сначала 130 МВт и в конечном итоге превысит 500 МВт. [21]

Прием

[ редактировать ]

Различные аналитики заявили, что Dojo «впечатляет, но не изменит суперкомпьютеры». [4] «это меняет правила игры, потому что оно было полностью разработано собственными силами», [22] «значительно ускорит развитие беспилотных транспортных средств», [23] и «может изменить правила игры для будущего Tesla FSD и искусственного интеллекта в более широком смысле». [1]

11 сентября 2023 года Morgan Stanley повысил целевую цену акций Tesla ( TSLA ) до 400 долларов США с предыдущей цели в 250 долларов США и назвал эти акции своим лучшим выбором в секторе электромобилей, заявив, что суперкомпьютер Tesla Dojo может обеспечить капитал на 500 миллиардов долларов. скачок рыночной стоимости Tesla. [24]

Техническая архитектура

[ редактировать ]

Основополагающим элементом суперкомпьютера Dojo является чип D1. [25] разработан командой Tesla под руководством бывшего AMD процессоров дизайнера Ганеша Венкатараманана , в которую входили Эмиль Тальпес, Дебжит Дас Сарма, Дуглас Уильямс, Билл Чанг и Раджив Куриан. [5]

Чип D1 производится Тайваньской компанией по производству полупроводников (TSMC) с использованием 7 нанометров (нм) полупроводниковых узлов , имеет 50 миллиардов транзисторов и большой размер кристалла - 645 мм. 2 (1,0 квадратный дюйм). [26] [27]

В ходе Дня искусственного интеллекта (ИИ) в 2022 году Tesla объявила, что Dojo будет масштабироваться за счет развертывания нескольких ExaPOD, в которых будут: [23]

  • 10 шкафов на ExaPOD (1 062 000 ядер, 3 000 чипов D1)
  • 2 системных лотка на шкаф (106 200 ядер, 300 микросхем D1)
  • 6 обучающих плиток на панели задач (53 100 ядер вместе с аппаратным интерфейсом хоста)
  • 25 чипов D1 на тренировочный тайл (8850 ядер)
  • 354 вычислительных ядра на D1 чип
Обзор архитектуры Tesla Dojo

По словам Венкатараманана, старшего директора Tesla по аппаратному обеспечению автопилота, Dojo будет иметь более эксафлопс (миллион терафлопс) вычислительной мощности. [28] Для сравнения, по данным Nvidia, в августе 2021 года (до Dojo) центр обучения искусственному интеллекту Tesla использовал 720 узлов, каждый из которых имел восемь графических процессоров Nvidia A100 Tensor Core для 5760 графических процессоров в общей сложности, обеспечивая производительность до 1,8 эксафлопс. [29]

Чип D1

[ редактировать ]

Каждый узел (вычислительное ядро) процессорного чипа D1 представляет собой 64-битный ЦП общего назначения с суперскалярным ядром. Он поддерживает внутренний параллелизм на уровне инструкций и включает одновременную многопоточность (SMT). Он не поддерживает виртуальную память и использует ограниченные механизмы защиты памяти. Программное обеспечение/приложения Dojo управляют ресурсами чипа.

Микроархитектура узла на чипе D1

Набор инструкций D1 поддерживает как 64-разрядные скалярные, так и 64-байтовые инструкции с одной командой и несколькими данными (SIMD). векторные [30] Целочисленный блок сочетает в себе компьютерные инструкции с сокращенным набором команд ( RISC-V ) и пользовательские инструкции, поддерживая 8, 16, 32 или 64-битные целые числа. Пользовательский модуль векторной математики оптимизирован для ядер машинного обучения и поддерживает несколько форматов данных с сочетанием точности и числовых диапазонов, многие из которых компонуются компилятором. [5] Одновременно можно использовать до 16 векторных форматов. [5]

Узел

[ редактировать ]

Каждый узел D1 использует 32-байтовое окно выборки, содержащее до восьми инструкций. Эти инструкции подаются на восьмиканальный декодер, который поддерживает два потока за цикл, за которым следует четырехканальный скалярный планировщик SMT с четырьмя модулями, который имеет два целочисленных блока, два адресных блока и один файл регистров на поток. Векторные инструкции передаются далее по конвейеру в специальный векторный планировщик с двусторонним SMT, который подает либо 64-байтовый блок SIMD, либо четыре блока матричного умножения 8×8×4. [30]

Маршрутизатор сети на кристалле (NOC) объединяет ядра в двумерную ячеистую сеть. Он может отправлять один входящий и один исходящий пакет во всех четырех направлениях в/из каждого соседнего узла, а также одно 64-байтовое чтение и одну 64-байтовую запись в локальную SRAM за такт. [30]

Аппаратные операции переносят данные, семафоры и барьерные ограничения между памятью и процессорами. Общесистемная (SDRAM) с двойной скоростью передачи данных 4 (DDR4) синхронная динамическая память с произвольным доступом работает как хранилище больших объемов данных.

Память

[ редактировать ]

Каждое ядро ​​имеет 1,25 мегабайт (МБ) основной памяти SRAM. Скорость загрузки и хранения достигает 400 гигабайт (ГБ) в секунду и 270 ГБ/сек соответственно. Чип имеет явные инструкции по передаче данных между ядрами. Каждый SRAM имеет уникальный синтаксический анализатор списков, который обслуживает пару декодеров, и механизм сбора, который передает файл векторных регистров, которые вместе могут напрямую передавать информацию между узлами. [5]

Die

[ редактировать ]

Двенадцать узлов (ядер) группируются в локальный блок. Узлы расположены в виде массива 18×20 на одном кристалле, из которых для приложений доступно 354 ядра. [5] Кристалл работает на частоте 2 гигагерца (ГГц) и имеет 440 МБ SRAM (360 ядер × 1,25 МБ/ядро). [5] Он достигает 376 терафлопс с использованием 16-битных чисел с плавающей запятой ( BF16 ) или с использованием настраиваемых 8-битных чисел с плавающей запятой (CFloat8), что является предложением Tesla. [17] и 22 терафлопс при FP32.

Каждый кристалл содержит 576 двунаправленных каналов сериализатора/десериализатора ( SerDes ) по периметру для связи с другими кристаллами и перемещает 8 ТБ/с по всем четырем краям кристалла. [5] каждого чипа D1 Расчетная тепловая мощность составляет около 400 Вт. [31]

Плитка обучения

[ редактировать ]
Плитка Тесла Додзё

Учебная плитка с водяным охлаждением объединяет 25 чипов D1 в массив 5×5. [5] Каждая ячейка поддерживает совокупную пропускную способность 36 ТБ/с через 40 микросхем ввода-вывода (I/O), что составляет половину пропускной способности ячеистой сети. Каждая плитка поддерживает полосу пропускания 10 ТБ/с. Каждая ячейка имеет 11 ГБ памяти SRAM (25 чипов D1 × 360 ядер/D1 × 1,25 МБ/ядро). Производительность каждого тайла составляет 9 петафлопс с точностью BF16/CFloat8 (25 чипов D1 × 376 Тфлопс/D1). Каждая плитка потребляет 15 киловатт; [5] 288 ампер при 52 вольтах . [31]

Системный трей

[ редактировать ]

Шесть плиток объединены в системный трей, который интегрирован с интерфейсом хоста . Каждый хост-интерфейс включает 512 ядер x86 , обеспечивающих пользовательскую среду на базе Linux . [18] Ранее системный лоток Dojo был известен как «Обучающая матрица» и включал в себя шесть обучающих плиток, 20 карт интерфейсных процессоров Dojo на четырех хост-серверах и дополнительные серверы, подключенные к Ethernet. Он имеет 53 100 ядер D1.

Интерфейсный процессор Dojo

[ редактировать ]

Карты интерфейсного процессора Dojo (DIP) располагаются по краям массивов плиток и подключаются к ячеистой сети. Хост-системы обеспечивают питание DIP и выполняют различные функции управления системой. Память DIP и сопроцессор ввода-вывода содержат 32 ГБ общего HBM ( HBM2e или HBM3 ), а также интерфейсы Ethernet, которые обходят ячеистую сеть. Каждая карта DIP имеет 2 процессора ввода-вывода с 4 банками памяти общей емкостью 32 ГБ с пропускной способностью 800 ГБ/с .

DIP подключается к слоту PCI-Express 4.0 x16, который обеспечивает пропускную способность 32 ГБ/с на карту. Пять карт на край плитки обеспечивают пропускную способность 160 ГБ/с для хост-серверов и 4,5 ТБ/с для плитки.

Транспортный протокол Теслы

[ редактировать ]

Транспортный протокол Tesla (TTP) — это проприетарное соединение через PCI-Express. Канал протокола TTP со скоростью 50 Гбит/с работает через Ethernet для доступа либо к одному порту 400 Гбит/с, либо к парному набору портов 200 Гбит/с. Для пересечения всей двумерной ячеистой сети может потребоваться 30 прыжков, тогда как TTP через Ethernet занимает всего четыре прыжка (при более низкой пропускной способности), что снижает вертикальную задержку.

Шкаф и ExaPOD

[ редактировать ]

Додзё укладывает плитки в шкаф вертикально, чтобы минимизировать расстояние и время связи между ними. Система Dojo ExaPod включает 120 тайлов, в общей сложности 1 062 000 используемых ядер, достигающих 1 эксафлопс в форматах BF16 и CFloat8. Он имеет 1,3 ТБ встроенной памяти SRAM и 13 ТБ двухрядной памяти с высокой пропускной способностью (HBM).

Программное обеспечение

[ редактировать ]

Dojo поддерживает фреймворк PyTorch : «Ничего более низкого уровня, чем C или C++, ничего даже отдаленно похожего на CUDA ». [5] SRAM представляет собой единое адресное пространство. [5]

Поскольку FP32 имеет большую точность и диапазон, чем необходимо для задач ИИ, а FP16 недостаточно, Тесла разработал 8- и 16-битные настраиваемые форматы с плавающей запятой (CFloat8 и CFloat16 соответственно), которые позволяют компилятору динамически устанавливать мантиссу и показатель степени. точность, допуская более низкую точность в обмен на более быструю векторную обработку и снижение требований к хранению. [5] [17]

Ссылки

[ редактировать ]
  1. ^ Перейти обратно: а б Бликли, Дэниел (22 июня 2023 г.). «Tesla начнет создавать свой тренировочный суперкомпьютер FSD «Dojo» в следующем месяце» . Ведомый . Проверено 30 июня 2023 г.
  2. ^ «Tesla подскочила, поскольку аналитик прогнозирует рост стоимости компании Dojo на 600 миллиардов долларов» . Рейтер . 11 сентября 2023 г. Проверено 11 сентября 2023 г.
  3. ^ Диккенс, Стивен (11 сентября 2023 г.). «Суперкомпьютер Tesla Dojo: сдвиг парадигмы в суперкомпьютерах?» . Форбс . Проверено 12 сентября 2023 г.
  4. ^ Перейти обратно: а б Вильяроло, Брэндон (25 августа 2021 г.). «Додзё Теслы впечатляет, но оно не изменит суперкомпьютеры» . Техреспублика . Проверено 25 августа 2021 г.
  5. ^ Перейти обратно: а б с д и ж г час я дж к л м н Морган, Тимоти Прикетт (23 августа 2022 г.). «Внутри инновационного и отечественного суперкомпьютера искусственного интеллекта Dojo компании Tesla» . Следующая платформа . Проверено 12 апреля 2023 г.
  6. ^ Перейти обратно: а б с Пекхэм, Оливер (22 июня 2021 г.). «В преддверии «Додзё» Tesla представляет свой огромный суперкомпьютер-предшественник» . HPCwire .
  7. ^ Суинхо, Дэн (23 июня 2021 г.). «Tesla подробно описывает суперкомпьютер до Dojo, производительность которого может достигать 80 петафлопс» . Динамика центра обработки данных . Проверено 14 апреля 2023 г.
  8. ^ Раден, Нил (28 сентября 2021 г.). «Суперкомпьютер Tesla Dojo — отделяем факты от шумихи» . цифромика . Проверено 14 апреля 2023 г.
  9. ^ Перейти обратно: а б Суинхо, Дэн (20 августа 2021 г.). «Tesla подробно описывает суперкомпьютер Dojo, раскрывает чип Dojo D1 и модуль обучающей плитки» . Динамика центра обработки данных . Проверено 14 апреля 2023 г.
  10. ^ Перейти обратно: а б «Tesla начинает установку суперкомпьютерных шкафов Dojo и отключает местную подстанцию» . Динамика центра обработки данных . 3 октября 2022 г. . Проверено 14 апреля 2023 г.
  11. ^ Трейдер, Тиффани (16 августа 2022 г.). «Tesla наращивает объемы своего искусственного интеллекта Super на базе графического процессора — следующий Dojo?» . HPCwire . Проверено 14 апреля 2023 г.
  12. ^ Браун, Майк (19 августа 2020 г.). «Tesla Dojo: почему Илон Маск говорит, что полное беспилотное вождение приведет к «квантовому скачку» » . Инверсия . Архивировано из оригинала 25 февраля 2021 года . Проверено 5 сентября 2021 г.
  13. ^ Илон Маск [@elonmusk] (14 августа 2020 г.). «Tesla разрабатывает тренировочный компьютер NN под названием Dojo для обработки действительно огромных объемов видеоданных. Это чудовище! Пожалуйста, рассмотрите возможность присоединения к нашим командам по искусственному интеллекту или компьютерам/чипам, если это звучит интересно» ( Твит ) – через Twitter .
  14. ^ Илон Маск [@elonmusk] (19 августа 2020 г.). «Dojo V1.0 еще не готов. Примерно через год. Дело не только в чипах. Проблема с питанием и охлаждением серьезная» ( Твит ) – через Twitter .
  15. ^ Джин, Хёнджу (20 августа 2021 г.). «Маск говорит, что Tesla, скорее всего, выпустит прототип гуманоидного робота в следующем году» . Рейтер . Проверено 20 августа 2021 г.
  16. ^ Моррис, Джеймс (20 августа 2021 г.). «Илон Маск стремится положить конец занятости в том виде, в каком мы ее знаем, с помощью робота-гуманоида» . Форбс . Проверено 13 апреля 2023 г.
  17. ^ Перейти обратно: а б с «Технология Tesla Dojo: Руководство по настраиваемым форматам и арифметике чисел с плавающей запятой Tesla» (PDF) . Tesla, Inc. Архивировано из оригинала (PDF) 12 октября 2021 года.
  18. ^ Перейти обратно: а б Ламберт, Фред (1 октября 2022 г.). «Tesla представляет новый суперкомпьютер Dojo, настолько мощный, что он отключил электросеть» . Электрек . Проверено 13 апреля 2023 г.
  19. ^ Манн, Тобиас (30 августа 2023 г.). «Tesla хеджирует ставки Dojo с помощью 10-тысячного кластера графических процессоров Nvidia H100» . www.theregister.com . Проверено 27 марта 2024 г.
  20. ^ Колодный, Лора (21 марта 2024 г.). «Компании Илона Маска поглощают оборудование Nvidia, в то время как Tesla стремится создать конкурирующий суперкомпьютер» . CNBC . Проверено 22 марта 2024 г.
  21. ^ @elonmusk (20 июня 2024 г.). «В этом году мы рассчитываем на ~130 МВт мощности и охлаждения, но в течение следующих 18 месяцев они увеличатся до >500 МВт или около того. Планируем примерно половину аппаратного обеспечения Tesla AI, половину Nvidia/другого. Играйте, чтобы выиграть, или не играйте вообще» ( Tweet ) — через Twitter .
  22. ^ Шетти, Камалеш Моханарангам, Амрита (2 сентября 2022 г.). «Суперкомпьютер Tesla Dojo: переломный момент в поисках полностью автономных транспортных средств» . Фрост и Салливан . Проверено 30 июня 2023 г. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
  23. ^ Перейти обратно: а б Моррис, Джеймс (6 октября 2022 г.). «Главной новостью Tesla на Дне искусственного интеллекта стал суперкомпьютер Dojo, а не робот Optimus» . Форбс . Проверено 13 апреля 2023 г.
  24. ^ Торбек, Кэтрин (11 сентября 2023 г.). «Акции Tesla подскочили после того, как Morgan Stanley предсказал, что суперкомпьютер Dojo может увеличить рыночную стоимость на 500 миллиардов долларов | CNN Business» . CNN . Проверено 12 сентября 2023 г.
  25. ^ Беллан, Ребекка; Аламальходаи, Ария (20 августа 2021 г.). «Четыре главных события Дня искусственного интеллекта Tesla Илона Маска» . techcrunch.com . Техкранч . Проверено 20 августа 2021 г.
  26. ^ Костович, Александр (20 августа 2021 г.). «Tesla упаковывает 50 миллиардов транзисторов в чип D1 Dojo, предназначенный для обучения искусственному интеллекту» . Аппаратное обеспечение Тома . Проверено 30 июня 2023 г.
  27. ^ Мур, Сэмюэл К. (30 апреля 2024 г.). «Ожидайте волну компьютеров пластинчатого масштаба. Технология TSMC позволяет использовать одну версию сейчас и более продвинутую версию в 2027 году» . IEEE-спектр . Проверено 23 июня 2024 г.
  28. ^ Новет, Иордания (20 августа 2021 г.). «Tesla представляет чип для обучения моделей искусственного интеллекта в своих центрах обработки данных» . cnbc.com . CNBC . Проверено 20 августа 2021 г.
  29. ^ Шахан, Закари (19 августа 2021 г.). «NVIDIA: Суперкомпьютеры Tesla для обучения искусственному интеллекту на базе наших графических процессоров» . ЧистаяТехника . Архивировано из оригинала 19 августа 2021 года.
  30. ^ Перейти обратно: а б с Тальпес, Эмиль; Сарма, Дебджит Дас; Уильямс, Дуг; Арора, Сахил; Кунджан, Томас; Флоринг, Бенджамин; Джалоте, Анкит; Хсион, Кристофер; Пурна, Чандрасекхар; Самант, Вайдехи; Сицилия, Джон; Ниварти, Ананта Кумар; Рамачандран, Рагувир; Фишер, Тим; Герцберг, Бен (15 мая 2023 г.). «Микроархитектура DOJO, экса-масштабного компьютера Теслы» . IEEE микро . 43 (3): 31–39. дои : 10.1109/MM.2023.3258906 . ISSN   0272-1732 .
  31. ^ Перейти обратно: а б Гамильтон, Джеймс (август 2021 г.). «Обзор проекта Tesla Project Dojo» . Перспективы .
[ редактировать ]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Tesla_Dojo&oldid=1230550148"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 965c5d95e54fcd1321d67f6838ffd26a__1719129360
URL1:https://arc.ask3.ru/arc/aa/96/6a/965c5d95e54fcd1321d67f6838ffd26a.html
Заголовок, (Title) документа по адресу, URL1:
Tesla Dojo - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)