Jump to content

Точность и отзыв

(Перенаправлено с Precision (поиск информации) )
Точность и отзыв

В распознавании образов , поиске информации , классификации объектов обнаружении и (машинное обучение) , точности и отзыве являются метриками производительности, которые применяются к данным, полученным из коллекции , корпуса или выборочного пространства .

Точность (также называемая положительной прогностической ценностью ) — это доля релевантных экземпляров среди полученных экземпляров. Записано в виде формулы:

Напомним (также известный как чувствительность ) — это доля релевантных экземпляров, которые были получены. Записано в виде формулы:

Таким образом, и точность, и отзыв основаны на релевантности .

Рассмотрим компьютерную программу распознавания собак ( соответствующего элемента) на цифровой фотографии. При обработке изображения, на котором изображены десять кошек и двенадцать собак, программа идентифицирует восемь собак. Из восьми элементов, идентифицированных как собаки, только пять на самом деле являются собаками ( истинно положительные результаты ), а остальные три — кошками ( ложно положительные результаты ). Семь собак были пропущены ( ложноотрицательные результаты ), а семь кошек были правильно исключены ( истинно отрицательные результаты ). В этом случае точность программы составляет 5/8 (истинные положительные результаты/выбранные элементы), а ее полнота – 5/12 (истинные положительные результаты/релевантные элементы).

Принятие подхода проверки гипотез , где в данном случае нулевая гипотеза заключается в том, что данный элемент не имеет значения (не собака), отсутствие ошибок типа I и типа II (идеальная специфичность и чувствительность ) соответствует соответственно идеальной точности (отсутствие ложных ошибок). положительных результатов) и идеальное запоминание (без ложноотрицательных результатов).

В более общем смысле, отзыв — это просто дополнение к частоте ошибок типа II (т. е. единица минус частота ошибок типа II). Точность связана с частотой ошибок типа I, но несколько более сложным образом, поскольку она также зависит от предварительного распределения появления релевантного и нерелевантного элемента.

Приведенный выше пример с кошкой и собакой содержал 8–5 = 3 ошибки типа I (ложноположительные результаты) из 10 общих кошек (истинно отрицательные результаты), при частоте ошибок типа I 3/10 и 12–5 = 7 ошибок типа II ( ложноотрицательные результаты), при частоте ошибок II рода 7/12. Точность можно рассматривать как меру качества, а полноту — как меру количества. Более высокая точность означает, что алгоритм возвращает больше релевантных результатов, чем нерелевантных, а высокая полнота означает, что алгоритм возвращает большую часть релевантных результатов (независимо от того, возвращаются ли также нерелевантные результаты).

Введение

[ редактировать ]

В задаче классификации точность класса — это количество истинных положительных результатов (т. е. количество элементов, правильно помеченных как принадлежащих к положительному классу), деленное на общее количество элементов, помеченных как принадлежащие к положительному классу (т. е. сумма истинные срабатывания и ложные срабатывания , то есть элементы, неправильно помеченные как принадлежащие к классу). Напомним в этом контексте определяется как количество истинных положительных результатов, разделенное на общее количество элементов, которые фактически принадлежат к положительному классу (т.е. сумма истинных положительных и ложных отрицательных результатов , которые представляют собой элементы, которые не были помечены как принадлежащие к положительному классу). но должно было быть).

Точность и полнота не являются особенно полезными показателями, если использовать их изолированно. Например, можно добиться идеального запоминания, просто извлекая каждый элемент. Точно так же можно достичь идеальной точности, выбрав лишь очень небольшое количество наиболее вероятных элементов.

В задаче классификации показатель точности 1,0 для класса C означает, что каждый элемент, помеченный как принадлежащий классу C, действительно принадлежит классу C (но ничего не говорит о количестве элементов класса C, которые были помечены неправильно), тогда как отзыв 1,0 означает, что каждый предмет из класса C был помечен как принадлежащий классу C (но ничего не говорит о том, сколько предметов из других классов также были ошибочно помечены как принадлежащие к классу C).

Часто существует обратная зависимость между точностью и полнотой, когда можно увеличить одно за счет уменьшения другого, но контекст может диктовать, является ли одно более ценным в данной ситуации:

Детектор дыма обычно предназначен для совершения многих ошибок типа I (для оповещения во многих ситуациях, когда опасности нет), поскольку цена ошибки типа II (неспособность подать сигнал тревоги во время крупного пожара) непомерно высока. Таким образом, детекторы дыма разработаны с учетом возможности отзыва (чтобы уловить всю реальную опасность), даже при этом не принимая во внимание потери точности (и создавая много ложных срабатываний). С другой стороны, соотношение Блэкстоуна : «Лучше, чтобы десять виновных сбежали, чем пострадал один невиновный», подчеркивает цену ошибки первого рода (осуждение невиновного человека). Таким образом, система уголовного правосудия ориентирована на точность (не осуждение невиновных), даже ценой потери возможности отзыва (освобождение большего количества виновных).

Нейрохирург, удаляющий раковую опухоль из мозга пациента, также иллюстрирует компромиссы: хирургу необходимо удалить все опухолевые клетки, поскольку любые оставшиеся раковые клетки регенерируют опухоль. И наоборот, хирург не должен удалять здоровые клетки мозга, поскольку это приведет к нарушению функции мозга у пациента. Хирург может быть более либеральным в отношении удаляемой области мозга, чтобы гарантировать удаление всех раковых клеток. Это решение увеличивает отзыв, но снижает точность. С другой стороны, хирург может быть более консервативным в отношении удаляемых клеток мозга, чтобы гарантировать, что извлекаются только раковые клетки. Это решение повышает точность, но уменьшает отзыв. Другими словами, более глубокая память увеличивает шансы на удаление здоровых клеток (отрицательный результат) и увеличивает шансы на удаление всех раковых клеток (положительный результат). Большая точность снижает шансы на удаление здоровых клеток (положительный результат), но также снижает вероятность удаления всех раковых клеток (отрицательный результат).

Обычно показатели точности и полноты не обсуждаются изолированно. Кривая точности отзыва отображает точность как функцию отзыва; обычно точность снижается по мере увеличения полноты. В качестве альтернативы значения одной меры можно сравнить для фиксированного уровня другой меры (например, точность при уровне полноты 0,75 ) или оба объединить в одну меру. Примерами мер, которые представляют собой комбинацию точности и полноты, являются F-мера (взвешенное гармоническое среднее точности и полноты) или коэффициент корреляции Мэтьюза , который представляет собой среднее геометрическое всех вариантов, скорректированных на случайность: коэффициенты регрессии Информированность ( ДельтаП’) и маркированность (ДельтаП). [1] [2] Точность — это средневзвешенное арифметическое значение точности и обратной точности (взвешенное по смещению), а также средневзвешенное арифметическое значение полноты и обратного отзыва (взвешенное по распространенности). [1] Обратная точность и обратный вызов — это просто точность и отзыв обратной задачи, в которой положительные и отрицательные метки меняются местами (как для реальных классов, так и для прогнозируемых меток). Истинная положительная скорость и ложная положительная скорость , или, что эквивалентно, отзыв и 1 - обратный отзыв, часто отображаются друг против друга в виде кривых ROC и обеспечивают принципиальный механизм для исследования компромиссов в рабочих точках. За пределами поиска информации применение отзыва, точности и F-меры считается ошибочным, поскольку они игнорируют истинно отрицательную ячейку таблицы непредвиденных обстоятельств и ими легко манипулировать, искажая прогнозы. [1] Первая проблема «решается» с использованием точности , а вторая проблема «решается» путем дисконтирования случайного компонента и перенормировки к каппе Коэна , но это больше не дает возможности исследовать компромиссы графически. Однако информированность и маркированность представляют собой каппа-подобные перенормировки памяти и точности. [3] и их средний геометрический коэффициент корреляции Мэтьюза , таким образом, действует как несмещенная F-мера.

Определение

[ редактировать ]

Для задач классификации термины «истинно положительные» , «истинно отрицательные» , «ложноположительные » и «ложноотрицательные» сравнивают результаты тестируемого классификатора с доверенными внешними суждениями. Термины положительный и отрицательный относятся к прогнозу классификатора (иногда называемому ожиданием ) , а термины истинный и ложный относятся к тому, соответствует ли этот прогноз внешнему суждению (иногда известному как наблюдение ).

Давайте определим эксперимент из P положительных экземпляров и N отрицательных экземпляров для некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств или матрицы путаницы 2×2 следующим образом:

Прогнозируемое состояние Источники: [4] [5] [6] [7] [8] [9] [10] [11]
Общая численность населения
= П + Н
Прогнозируемый положительный результат (PP) Прогнозируемый отрицательный результат (PN) Информированность , информированность букмекерских контор (БМ)
= ТПР + ТНР − 1
Порог распространенности (PT)
= ТПР × ФПР - ФПР / ТПР - ФПР
Фактическое состояние
Положительный (П) [а] Истинно положительный (TP),
ударять [б]
Ложноотрицательный (ЛН),
пропустить, недооценка
Доля истинных положительных результатов (TPR), отзыв , чувствительность (SEN), вероятность обнаружения, частота попаданий, мощность
= ТП / П = 1 − ФНР
Ложноотрицательный показатель (FNR),
процент промахов
ошибка второго рода [с]
= ФН / П = 1 − ТПР
Отрицательный (Н) [д] Ложноположительный (FP),
ложная тревога, завышение оценок
Истинно отрицательный (TN),
правильный отказ [и]
Ложноположительный показатель (FPR),
вероятность ложной тревоги, выпадения
ошибка типа I [ф]
= ФП / Н = 1 − ТНР
Истинно отрицательный коэффициент (TNR),
специфичность (SPC), селективность
= ТН = / Н 1 − ФПР
Распространенность
= П / П + Н
Положительная прогностическая ценность (PPV), точность
= ТП / ПП = 1 − ФДР
Коэффициент ложного пропуска (FOR)
= FN / PN = 1 − NPV
Положительное отношение правдоподобия (LR+)
= TPR / FPR
Отрицательное отношение правдоподобия (LR-)
= FNR / TNR
Точность (АКК)
= ТП + ТН / П + Н
Уровень ложного обнаружения (FDR)
= ФП / ПП = 1 − ППВ
Отрицательная прогностическая ценность (NPV)
= ТН / ПН = 1 − ДЛЯ
Маркировка (МК), дельтаП (Δp)
= ППВ + ЧПС − 1
Диагностическое отношение шансов (DOR)
= ЛР+ / ЛР-
Сбалансированная точность (BA)
= ТПР + ТНР / 2
F 1 балл
= 2 PPV × TPR / PPV + TPR = 2 ТП / 2 ТП + ФП + ФН
Индекс Фаулкса-Мэллоуза (FM)
= ППВ × TPR
Коэффициент корреляции Мэтьюза (MCC)
= TPR × TNR × PPV × NPV - FNR × FPR × FOR × FDR
Оценка угрозы (TS), индекс критического успеха (CSI), индекс Жаккара
= ТП / ТП + ФН + ФП
  1. ^ количество реальных положительных случаев в данных
  2. ^ Результат теста, который правильно указывает на наличие состояния или характеристики.
  3. ^ Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.
  4. ^ количество реальных отрицательных случаев в данных
  5. ^ Результат теста, который правильно указывает на отсутствие состояния или характеристики.
  6. ^ Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного условия или атрибута.


Тогда точность и полнота определяются как: [12]

В этом контексте полнота также называется истинно положительной частотой или чувствительностью , а точность также называется положительной прогностической ценностью (PPV); другие связанные меры, используемые в классификации, включают истинно отрицательный уровень и точность . [12] Истинно отрицательный показатель также называется специфичностью .

Точность против отзыва

[ редактировать ]

И точность, и полнота могут быть полезны в случаях, когда данные несбалансированы. Однако может быть полезно расставить приоритеты между одним методом над другим в тех случаях, когда результат ложноположительного или ложноотрицательного результата является дорогостоящим. Например, при медицинской диагностике ложноположительный результат теста может привести к ненужному лечению и расходам. В этой ситуации полезно ценить точность выше полноты. В других случаях цена ложноотрицательного результата высока. Например, цена ложноотрицательного результата при обнаружении мошенничества высока, поскольку неспособность обнаружить мошенническую транзакцию может привести к значительным финансовым потерям. [13]

Вероятностное определение

[ редактировать ]

Точность и полноту можно интерпретировать как (оценочные) условные вероятности : [14] Точность определяется в то время как отзыв определяется , [15] где это прогнозируемый класс и это фактический класс (т.е. означает, что фактический класс положителен). Обе величины, следовательно, связаны теоремой Байеса .

Классификаторы без навыков

[ редактировать ]

Вероятностная интерпретация позволяет легко определить, как будет работать классификатор без навыков. Классификаторы без навыков определяются тем свойством, что совместная вероятность является просто произведением безусловных вероятностей, поскольку классификация и наличие класса независимы .

Например, точность классификатора без навыков — это просто константа. т.е. определяется вероятностью/частотой, с которой встречается класс P.

Аналогичный аргумент можно привести и в отношении отзыва: что является вероятностью положительной классификации.

Несбалансированные данные

[ редактировать ]

Точность может быть вводящим в заблуждение показателем несбалансированных наборов данных. Рассмотрим образец с 95 отрицательными и 5 положительными значениями. Классификация всех значений как отрицательных в этом случае дает оценку точности 0,95. Есть много показателей, которые не страдают от этой проблемы. Например, сбалансированная точность [16] (bACC) нормализует истинно положительные и истинно отрицательные прогнозы по количеству положительных и отрицательных образцов соответственно и делит их сумму на два:

В предыдущем примере (95 отрицательных и 5 положительных образцов) классификация всех образцов как отрицательных дает 0,5 балла сбалансированной точности (максимальный балл bACC равен единице), что эквивалентно ожидаемому значению случайного предположения в сбалансированном наборе данных. Сбалансированная точность может служить показателем общей производительности модели независимо от того, несбалансированы ли истинные метки в данных, при условии, что стоимость FN такая же, как и FP.

TPR и FPR являются свойством данного классификатора, действующего при определенном пороге. Однако общее количество TP, FP и т. д. зависит от дисбаланса классов в данных через соотношение классов. . Поскольку отзыв (или TPR) зависит только от положительных случаев, на него не влияют , но точность есть. У нас есть это

Таким образом, точность имеет явную зависимость от . [17] Начиная со сбалансированных занятий в и постепенно снижается , соответствующая точность уменьшится, поскольку знаменатель увеличится.

Еще одним показателем является прогнозируемый процент положительных состояний (PPCR), который определяет процент помеченной популяции от общей численности населения. Например, для поисковой системы, которая возвращает 30 результатов (полученных документов) из 1 000 000 документов, PPCR составляет 0,003%.

По мнению Сайто и Ремсмайера, графики точного отзыва более информативны, чем графики ROC, при оценке бинарных классификаторов на несбалансированных данных. В таких сценариях графики ROC могут быть визуально обманчивы в отношении выводов о надежности классификации. [18]

В отличие от вышеописанных подходов, если масштабирование дисбаланса применяется непосредственно путем взвешивания элементов матрицы путаницы, стандартные определения показателей по-прежнему применяются даже в случае несбалансированных наборов данных. [19] Процедура взвешивания связывает элементы матрицы путаницы с набором поддержки каждого рассматриваемого класса.

Мерой, сочетающей в себе точность и полноту, является гармоническое среднее точности и полноты, традиционная F-мера или сбалансированный F-показатель:

Эта мера приблизительно равна среднему из двух, когда они близки, и в более общем смысле представляет собой среднее гармоническое , которое в случае двух чисел совпадает с квадратом среднего геометрического , разделенного на среднее арифметическое . Есть несколько причин, по которым F-показатель может подвергаться критике, в определенных обстоятельствах, из-за его предвзятости как показателя оценки. [1] Это также известно как мерой, потому что полнота и точность имеют одинаковый вес.

Это частный случай общего мера (для неотрицательных действительных значений ):

Два других часто используемых меры – это мера, вес которой выше, чем точность, и мера, которая уделяет больше внимания точности, чем полноте.

F-мера была выведена ван Рейсбергеном (1979) так, что "измеряет эффективность поиска по отношению к пользователю, который прикрепляет запомнить в раз важнее, чем точность». Он основан на показателе эффективности ван Рейсбергена. , второй член представляет собой взвешенное гармоническое среднее точности и полноты с весами . Их отношения где .

Ограничения как цели

[ редактировать ]

Существуют и другие параметры и стратегии для показателей производительности системы поиска информации, такие как площадь под кривой ROC (AUC). [20] или псевдо-R-квадрат .

Многоклассовая оценка

[ редактировать ]

Значения точности и полноты также можно рассчитать для задач классификации с более чем двумя классами. [21] Чтобы получить точность для данного класса, мы делим количество истинных положительных результатов на смещение классификатора в сторону этого класса (количество раз, когда классификатор предсказал класс). Чтобы рассчитать отзыв для данного класса, мы делим количество истинных положительных результатов на распространенность этого класса (количество раз, когда этот класс встречается в выборке данных).

Значения точности и полноты по классам затем можно объединить в общий балл оценки нескольких классов, например, с помощью метрики макроса F1 .

См. также

[ редактировать ]
  1. ^ Jump up to: а б с д Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» (PDF) . Журнал технологий машинного обучения . 2 (1): 37–63. Архивировано из оригинала (PDF) 14 ноября 2019 г.
  2. ^ Перруче, П.; Пиреман, Р. (2004). «Использование распределительной информации при обработке слогов». Ж. Нейролингвистика . 17 (2–3): 97–119. дои : 10.1016/s0911-6044(03)00059-9 . S2CID   17104364 .
  3. ^ Пауэрс, Дэвид М.В. (2012). «Проблема с Каппой» . Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL2012) Совместный семинар ROBUS-UNSUP .
  4. ^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. дои : 10.1016/j.patrec.2005.10.010 . S2CID   2027090 .
  5. ^ Провост, Фостер; Том Фосетт (01 августа 2013 г.). «Наука о данных для бизнеса: что нужно знать об интеллектуальном анализе данных и аналитическом мышлении» . О'Рейли Медиа, Инк .
  6. ^ Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции» . Журнал технологий машинного обучения . 2 (1): 37–63.
  7. ^ Тин, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8 . ISBN  978-0-387-30164-8 .
  8. ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов» . Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
  9. ^ Чикко Д., Юрман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации» . БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК   6941312 . ПМИД   31898477 .
  10. ^ Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекерской конторы и маркированность при оценке двухклассовой матрицы путаницы» . Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ   7863449 . ПМИД   33541410 .
  11. ^ Тарват А. (август 2018 г.). «Классификация методов оценки» . Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
  12. ^ Jump up to: а б Олсон, Дэвид Л.; и Делен, Дурсун (2008); Advanced Data Mining Techniques , Springer, 1-е издание (1 февраля 2008 г.), стр. 138, ISBN   3-540-76916-1
  13. ^ https://www.v7labs.com/blog/precision-vs-recall-guide#accuracy-precision-or-recallwhen-to-use-what
  14. ^ Фатих Какир, Кун Хе, Сиде Ся, Брайан Кулис, Стэн Скларофф, Глубокое метрическое обучение ранжированию , В Proc. Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR), 2019.
  15. ^ Роеллеке, Томас (31 мая 2022 г.). Модели поиска информации: основы и взаимоотношения . Спрингер Природа. ISBN  978-3-031-02328-6 .
  16. ^ Мауэр, Джеффри П. (12 апреля 2005 г.). «PREP-Mt: предсказательный редактор РНК для митохондриальных генов растений» . БМК Биоинформатика . 6:96 . дои : 10.1186/1471-2105-6-96 . ISSN   1471-2105 . ПМЦ   1087475 . ПМИД   15826309 .
  17. ^ Уильямс, Кристофер К.И. (01 апреля 2021 г.). «Влияние дисбаланса классов на кривые точности отзыва» . Нейронные вычисления . 33 (4): 853–857. arXiv : 2007.01905 . дои : 10.1162/neco_a_01362 . ISSN   0899-7667 .
  18. ^ Сайто, Такая; Ремсмайер, Марк (04 марта 2015 г.). Брок, Гай (ред.). «График точного отзыва более информативен, чем график ROC при оценке двоичных классификаторов на несбалансированных наборах данных» . ПЛОС ОДИН . 10 (3): e0118432. Бибкод : 2015PLoSO..1018432S . дои : 10.1371/journal.pone.0118432 . ISSN   1932-6203 . ПМК   4349800 . ПМИД   25738806 .
  19. ^ Трипиккио, Паоло; Камачо-Гонсалес, Херардо; Д'Авелла, Сальваторе (2020). «Выявление дефектов сварки: борьба с артефактами на производственной линии» . Международный журнал передовых производственных технологий . 111 (5): 1659–1669. дои : 10.1007/s00170-020-06146-4 . S2CID   225136860 .
  20. ^ Зигмунт Зайонц. Что вы хотели знать о AUC. http://fastml.com/what-you-wanted-to-know-about-auc/
  21. ^ Опиц, Юрий (2024). «Более пристальный взгляд на показатели классификационной оценки и критическое размышление об общей практике оценки» . Труды Ассоциации компьютерной лингвистики . 12 : 820–836. arXiv : 2404.16958 . дои : 10.1162/tacl_a_00675 .
  • Баеза-Йейтс, Рикардо; Рибейро-Нето, Бертье (1999). Современный информационный поиск . Нью-Йорк, штат Нью-Йорк: ACM Press, Addison-Wesley, Seiten 75 и далее. ISBN   0-201-39829-X
  • Хьёрланд, Биргер (2010); Основа концепции релевантности , Журнал Американского общества информационных наук и технологий, 61(2), 217-237.
  • Махул, Джон ; Кубала, Фрэнсис; Шварц, Ричард; и Вайшедель, Ральф (1999); Показатели эффективности извлечения информации , в материалах семинара DARPA Broadcast News Workshop, Херндон, Вирджиния, февраль 1999 г.
  • ван Рейсберген, Корнелис Йост «Кит» (1979); Информационный поиск , Лондон, Великобритания; Бостон, Массачусетс: Баттерворт, 2-е издание, ISBN   0-408-70929-4
[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 88286bc889e926d9b58f364c21f4591d__1721803860
URL1:https://arc.ask3.ru/arc/aa/88/1d/88286bc889e926d9b58f364c21f4591d.html
Заголовок, (Title) документа по адресу, URL1:
Precision and recall - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)