Арифметика смешанной точности

Арифметика смешанной точности — это форма арифметики с плавающей запятой , в которой за одну операцию используются числа различной ширины.

Арифметика

Обычно арифметика смешанной точности используется для работы с неточными числами небольшой ширины и расширения их до более крупного и точного представления. Например, два числа с плавающей запятой половинной точности или bfloat16 (16 бит) можно умножить вместе, чтобы получить более точное число с плавающей запятой одинарной точности (32 бита). Таким образом, арифметика смешанной точности приближается к арифметике произвольной точности , хотя и с небольшим количеством возможных точности.

Арифметика смешанной точности используется в области машинного обучения , поскольку алгоритмы градиентного спуска могут использовать грубые и эффективные числа с плавающей запятой половинной точности для определенных задач, но могут быть более точными, если они используют более точные, но более медленные числа с плавающей запятой одинарной точности. Некоторые платформы, включая процессоры и графические процессоры Nvidia , Intel и AMD , предоставляют для этой цели арифметику смешанной точности, используя грубые числа с плавающей запятой, когда это возможно, но при необходимости расширяя их до более высокой точности.

Итеративные алгоритмы (например, градиентный спуск ) являются хорошими кандидатами для арифметики смешанной точности. В итеративном алгоритме, таком как квадратный корень , грубое интегральное предположение может быть сделано и уточнено в течение многих итераций до тех пор, пока ошибка в точности не сделает его таким, что наименьшее добавление или вычитание к предположению все еще будет слишком грубым, чтобы быть приемлемым ответом. Когда это происходит, точность может быть увеличена до более точной, что позволяет использовать меньшие приращения для аппроксимации.

Суперкомпьютеры, такие как Summit, используют арифметику смешанной точности, чтобы более эффективно использовать память и время обработки, а также энергопотребление.