Точность и точность
Точность и прецизионность являются двумя мерами ошибки наблюдения .
Точность — это то, насколько близок данный набор измерений ( наблюдений или показаний) к их истинному значению .
Точность – это то, насколько близки измерения друг к другу.
Другими словами:
- Точность — это описание случайных ошибок (мера статистической изменчивости ).
- , точность имеет два определения Согласно ISO : [1]
- Чаще всего это описание систематических ошибок (мера статистической погрешности данной меры центральной тенденции ). Низкая точность приводит к расхождению между результатом и истинным значением . Эта вторичная мера называется в достоверностью . ISO
- Сочетание обоих типов ошибок наблюдения (случайных и систематических), поэтому высокая точность требует как высокой точности, так и высокой истинности.
В первом, более распространенном определении «точности», приведенном выше, это понятие не зависит от «точности», поэтому можно сказать, что конкретный набор данных является точным, точным, и тем и другим, или ни одним из них.
Проще говоря, при наличии статистической выборки или набора точек данных, полученных в результате повторных измерений одной и той же величины, можно сказать, что выборка или набор являются точными, если их среднее значение близко к истинному значению измеряемой величины, в то время как набор может можно сказать, что они точны , если их стандартное отклонение относительно невелико.
Общее техническое определение
[ редактировать ]В области науки и техники точность измерительной системы — это степень близости измерений величины к этой величины истинному значению . [2] Точность измерительной системы, связанная с воспроизводимостью и повторяемостью , — это степень, в которой повторные измерения в неизменных условиях показывают одинаковые результаты . [2] [3] Хотя два слова «точность» и «точность» могут быть синонимами в разговорной речи, они намеренно противопоставляются в контексте научного метода .
Область статистики , где интерпретация измерений играет центральную роль, предпочитает использовать термины смещение и изменчивость вместо точности и прецизионности: смещение — это количество неточностей, а изменчивость — это количество неточностей.
Измерительная система может быть точной, но не точной, точной, но не точной, ни тем, ни другим, или и тем, и другим. Например, если эксперимент содержит систематическую ошибку , то увеличение размера выборки обычно увеличивает точность, но не улучшает точность. Результатом будет последовательная, но неточная цепочка результатов ошибочного эксперимента. Устранение систематической ошибки повышает точность, но не меняет точность.
Система измерения считается действенной , если она одновременно точна и точна . Родственные термины включают систематическую ошибку (неслучайные или направленные эффекты, вызванные фактором или факторами, не связанными с независимой переменной ) и ошибку (случайную изменчивость).
Эта терминология также применяется к косвенным измерениям, то есть к значениям, полученным с помощью вычислительной процедуры на основе наблюдаемых данных.
Помимо точности и прецизионности, измерения также могут иметь разрешающую способность измерения , которая представляет собой наименьшее изменение базовой физической величины, вызывающее отклик при измерении.
В численном анализе точность — это также близость расчета к истинному значению; в то время как точность — это разрешение представления, обычно определяемое количеством десятичных или двоичных цифр.
В военном плане точность относится прежде всего к точности стрельбы ( justesse de tir ), точности стрельбы, выражаемой близостью группы выстрелов в центре мишени и вокруг нее. [4]
Количественная оценка
[ редактировать ]В промышленных приборах точность представляет собой допуск измерения или передачу прибора и определяет пределы погрешностей, возникающих при использовании прибора в нормальных условиях эксплуатации. [5]
В идеале измерительное устройство должно быть точным и точным, все измерения близки к истинному значению и тесно сгруппированы вокруг него. Точность и прецизионность процесса измерения обычно устанавливаются путем многократного измерения прослеживаемого эталона некоторого . Такие стандарты определены в Международной системе единиц (сокращенно СИ от французского: Système International d'Unités ) и поддерживаются национальными организациями по стандартизации, такими как Национальный институт стандартов и технологий в США.
Это также применимо, когда измерения повторяются и усредняются. В этом случае правильно применяется термин « стандартная ошибка» : точность среднего равна известному стандартному отклонению процесса, деленному на квадратный корень из числа усредненных измерений. Кроме того, центральная предельная теорема показывает, что распределение вероятностей усредненных измерений будет ближе к нормальному распределению, чем распределение вероятностей отдельных измерений.
По точности можно выделить:
- разница между средним значением измерений и эталонным значением, смещение . необходимо установить и исправить погрешность Для калибровки .
- совокупный эффект этого и точности.
Распространенным соглашением в науке и технике является неявное выражение точности и/или прецизионности с помощью значащих цифр . Если это не указано явно, под погрешностью понимается половина значения последнего значимого места. Например, запись 843,6 м, или 843,0 м, или 800,0 м будет означать погрешность 0,05 м (последнее значимое место — десятое место), а запись 843 м будет подразумевать погрешность 0,5 м ( последние значащие цифры — единицы измерения).
Показание 8000 м с конечными нулями и без десятичной точки неоднозначно; конечные нули могут быть или не быть значащими цифрами. Чтобы избежать этой двусмысленности, число можно было бы представить в научной записи: 8,0 × 10. 3 m указывает на то, что первый ноль является значащим (следовательно, запас составляет 50 м), а 8.000 × 10 3 m указывает, что все три нуля значимы, что дает запас в 0,5 м. Аналогичным образом можно использовать кратную базовой единице измерения: 8,0 км эквивалентно 8,0 × 10. 3 м. Это указывает на запас в 0,05 км (50 м). Однако использование этого соглашения может привести к ложным ошибкам точности при приеме данных из источников, которые ему не подчиняются. Например, источник, сообщающий число вроде 153 753 с точностью +/- 5000, выглядит так, как будто его точность +/- 0,5. Согласно конвенции, оно было бы округлено до 150 000.
В качестве альтернативы, в научном контексте, если требуется более точно указать предел погрешности, можно использовать такое обозначение, как 7,54398(23) × 10. −10 м, что означает диапазон от 7,54375 до 7,54421 × 10. −10 м.
Точность включает в себя:
- повторяемость — изменение, возникающее, когда прилагаются все усилия для поддержания постоянных условий с использованием одного и того же инструмента и оператора и повторяются в течение короткого периода времени; и
- воспроизводимость — вариации, возникающие при использовании одного и того же процесса измерения среди разных инструментов и операторов и в течение более длительных периодов времени.
В технике точность часто принимается как трехкратное стандартное отклонение проведенных измерений, что представляет собой диапазон, в пределах которого может происходить 99,73% измерений. [6] Например, эргономист, измеряющий человеческое тело, может быть уверен, что 99,73% извлеченных им измерений попадают в пределах ± 0,7 см — при использовании системы обработки GRYPHON — или ± 13 см — при использовании необработанных данных. [7]
Определение ISO (ISO 5725)
[ редактировать ]Изменение значения этих терминов произошло с публикацией серии стандартов ISO 5725 в 1994 году, что также отражено в выпуске Международного словаря метрологии (VIM) BIPM за 2008 год, пункты 2.13 и 2.14. [2]
Согласно ISO 5725-1, [1] общий термин «точность» используется для описания близости измерения к истинному значению. Когда этот термин применяется к наборам измерений одной и той же измеряемой величины , он включает в себя компонент случайной ошибки и компонент систематической ошибки. В этом случае истинность — это близость среднего значения набора результатов измерений к фактическому (истинному) значению, то есть систематическая ошибка, а точность — это близость согласия между набором результатов, то есть случайная ошибка.
ISO 5725-1 и VIM также избегают использования термина « предвзятость », ранее указанного в BS 5497-1. [8] потому что оно имеет разные значения за пределами областей науки и техники, например, в медицине и праве.
В классификации
[ редактировать ]В бинарной классификации
[ редактировать ]Точность также используется как статистическая мера того, насколько хорошо тест двоичной классификации правильно идентифицирует или исключает состояние. То есть точность — это доля правильных предсказаний (как истинно положительных, так и истинно отрицательных ) среди общего числа исследованных случаев. [9] Таким образом, он сравнивает оценки вероятности до и после тестирования . Чтобы прояснить контекст семантики, его часто называют «точностью Рэнда» или « индексом Рэнда ». [10] [11] [12] Это параметр теста. Формула для количественной оценки двоичной точности: где TP = истинно положительный результат ; FP = ложное срабатывание ; TN = истинно отрицательный результат ; FN = ложноотрицательный результат
В этом контексте понятия достоверности и точности, определенные в ISO 5725-1, неприменимы. Одна из причин заключается в том, что не существует единого «истинного значения» величины, а есть два возможных истинных значения для каждого случая, тогда как точность является средним значением для всех случаев и, следовательно, учитывает оба значения. Однако термин «точность» используется в этом контексте для обозначения другого показателя, происходящего из области поиска информации ( см. ниже ).
В многоклассовой классификации
[ редактировать ]При вычислении точности в многоклассовой классификации точность — это просто доля правильных классификаций: [13] Обычно это выражается в процентах. Например, если классификатор делает десять прогнозов и девять из них верны, точность составит 90%.
Точность также называют точностью «топ-1», чтобы отличить ее от точности «топ-5», часто встречающейся при сверточных нейронных сетей оценке . Чтобы оценить точность топ-5, классификатор должен предоставить относительные вероятности для каждого класса. При их сортировке классификация считается правильной, если правильная классификация попадает где-нибудь в первые 5 прогнозов сети. Точность топ-5 была популяризирована благодаря конкурсу ImageNet . Обычно это выше, чем точность топ-1, поскольку любые правильные прогнозы на позициях со 2-й по 5-ю не улучшат оценку топ-1, но улучшат оценку топ-5.
В психометрике и психофизике
[ редактировать ]В психометрии и психофизике термин «точность» используется как синоним достоверности и постоянной ошибки . Точность – это синоним надежности и переменной погрешности . Валидность измерительного инструмента или психологического теста устанавливается посредством эксперимента или корреляции с поведением. Надежность устанавливается с помощью различных статистических методов, обычно с помощью теста внутренней согласованности, такого как альфа Кронбаха, чтобы убедиться, что наборы связанных вопросов имеют соответствующие ответы, а затем сравнение этих связанных вопросов между контрольной и целевой популяцией. [ нужна ссылка ]
В логическом моделировании
[ редактировать ]В логическом моделировании распространенной ошибкой при оценке точных моделей является сравнение модели логического моделирования с транзисторной моделью моделирования схемы . Это сравнение различий в точности, а не точности. Точность измеряется по отношению к деталям, а точность измеряется по отношению к реальности. [14] [15]
В информационных системах
[ редактировать ]Системы поиска информации, такие как базы данных и поисковые системы в Интернете , оцениваются по множеству различных показателей , некоторые из которых выводятся из матрицы путаницы , которая делит результаты на истинно положительные (документы получены правильно), истинно отрицательные (документы получены некорректно), ложные срабатывания (документы получены неправильно) и ложные отрицательные результаты (документы не получены неправильно). Обычно используемые метрики включают понятия точности и полноты . В этом контексте точность определяется как доля правильно полученных документов по сравнению с полученными документами (истинные положительные результаты, разделенные на истинные положительные результаты и ложные положительные результаты), с использованием набора достоверных результатов, соответствующих результатам, выбранным людьми. Отзыв определяется как доля правильно извлеченных документов по сравнению с соответствующими документами (истинные положительные результаты, разделенные на истинные положительные результаты плюс ложные отрицательные результаты). Реже используется показатель точности, определяемый как доля документов, правильно классифицированных по сравнению с документами (истинно положительные плюс истинно отрицательные, деленные на истинные положительные плюс истинные отрицательные, плюс ложноположительные и ложноотрицательные).
Ни одна из этих метрик не учитывает рейтинг результатов. Ранжирование очень важно для веб-поисковых систем, поскольку читатели редко проходят дальше первой страницы результатов, а в сети слишком много документов, чтобы вручную классифицировать их все относительно того, следует ли их включать или исключать из конкретного поиска. Добавление ограничения по определенному количеству результатов в некоторой степени учитывает ранжирование. Например, точность измерения при k — это мера точности, учитывающая только первые десять (k=10) результатов поиска. Более сложные показатели, такие как дисконтированный совокупный выигрыш , учитывают каждый отдельный рейтинг и чаще используются там, где это важно.
В когнитивных системах
[ редактировать ]В когнитивных системах точность и точность используются для характеристики и измерения результатов когнитивного процесса, выполняемого биологическими или искусственными объектами, где когнитивный процесс представляет собой преобразование данных, информации, знаний или мудрости в более ценную форму. ( Пирамида DIKW ) Иногда когнитивный процесс дает именно запланированный или желаемый результат, но иногда дает результат, далекий от запланированного или желаемого. Более того, повторения когнитивного процесса не всегда дают одинаковый результат. Когнитивная точность (CA ) — это склонность когнитивного процесса производить намеченный или желаемый результат. Когнитивная точность ( CP ) — это склонность когнитивного процесса производить один и тот же результат. [16] [17] [18] Для измерения расширенного познания в ансамблях человек/шестеренки, где один или несколько человек работают совместно с одной или несколькими когнитивными системами (винтиками), увеличение когнитивной точности и точности познания помогает измерить степень когнитивного расширения .
См. также
[ редактировать ]- Компромисс смещения-дисперсии в статистике и машинном обучении
- Принятое и экспериментальное значение
- Качество данных
- Инженерная толерантность
- Точность (значения)
- Экспериментальный анализ неопределенности
- F-оценка
- Арифметика с плавающей запятой (раздел Проблемы точности )
- Проверка гипотез на точность
- Качество информации
- Неопределенность измерения
- Точность (статистика)
- Вероятность
- Случайные и систематические ошибки
- Чувствительность и специфичность
- Значительные цифры
- Статистическая значимость
Ссылки
[ редактировать ]- ^ Перейти обратно: а б BS ISO 5725-1: «Точность (правдивость и прецизионность) методов и результатов измерений. Часть 1: Общие принципы и определения», стр. 1 (1994 г.).
- ^ Перейти обратно: а б с JCGM 200:2008 Международный словарь по метрологии . Основные и общие понятия и связанные с ними термины (VIM)
- ^ Тейлор, Джон Роберт (1999). Введение в анализ ошибок: исследование неопределенностей в физических измерениях . Университетские научные книги. стр. 128–129. ISBN 0-935702-75-Х .
- ^ Организация Североатлантического договора, Агентство НАТО по стандартизации AAP-6 – Глоссарий терминов и определений, стр. 43.
- ^ Креус, Антонио. Промышленное оборудование [ нужна ссылка ]
- ^ Блэк, Дж. Темпл (21 июля 2020 г.). Материалы и процессы ДеГармо в производстве . Джон Уайли и сыновья. ISBN 978-1-119-72329-5 . OCLC 1246529321 .
- ^ Паркер, Кристофер Дж.; Гилл, Симеон; Харвуд, Адриан; Хейс, Стивен Г.; Ахмед, Марьям (19 мая 2021 г.). «Метод повышения точности 3D-сканирования тела: грифон и последовательное сканирование» . Эргономика . 65 (1): 39–59. дои : 10.1080/00140139.2021.1931473 . ISSN 0014-0139 . ПМИД 34006206 .
- ^ BS 5497-1: «Точность методов испытаний. Руководство по определению повторяемости и воспроизводимости стандартного метода испытаний». (1979)
- ^ Мец, CE (октябрь 1978 г.). «Основные принципы ROC-анализа» (PDF) . Семин Нукл Мед . 8 (4): 283–98. дои : 10.1016/s0001-2998(78)80014-2 . ПМИД 112681 . Архивировано (PDF) из оригинала 9 октября 2022 г.
- ^ «Архивная копия» (PDF) . Архивировано из оригинала (PDF) 11 марта 2015 г. Проверено 9 августа 2015 г.
{{cite web}}
: CS1 maint: архивная копия в заголовке ( ссылка ) - ^ Пауэрс, Дэвид М.В. (2015). «То, что не измеряет F-мера». arXiv : 1503.06410 [ cs.IR ].
- ^ Дэвид М.В. Пауэрс. «Проблема с Каппой» (PDF) . Anthology.aclweb.org . Архивировано (PDF) из оригинала 9 октября 2022 г. Проверено 11 декабря 2017 г.
- ^ «3.3. Метрики и скоринг: количественная оценка качества прогнозов» . scikit-учиться . Проверено 17 мая 2022 г.
- ^ Акен, Джон М. (1997). "никто". Энциклопедия компьютерных наук и технологий . 36 : 281–306.
- ^ Глассер, Марк; Мэтьюз, Роб; Акен, Джон М. (июнь 1990 г.). «Семинар 1990 года по моделированию логического уровня для ASICS». Информационный бюллетень СИГДА . 20 (1).
- ^ Фулбрайт, Рон (2020). Демократизация знаний: как когнитивные системы произведут революцию в вашей жизни (1-е изд.). Бока-Ратон, Флорида: CRC Press. ISBN 978-0367859459 .
- ^ Фулбрайт, Рон (2019). «Расчет когнитивного улучшения – практический пример» . Расширенное познание . Конспекты лекций по информатике. Том. 11580. Спрингер Чам. стр. 533–545. arXiv : 2211.06479 . дои : 10.1007/978-3-030-22419-6_38 . ISBN 978-3-030-22418-9 . S2CID 195891648 .
- ^ Фулбрайт, Рон (2018). «Об измерении познания и когнитивного расширения» . Человеческий интерфейс и управление информацией. Информация в приложениях и сервисах . Конспекты лекций по информатике. Том. 10905. Спрингер Чам. стр. 494–507. arXiv : 2211.06477 . дои : 10.1007/978-3-319-92046-7_41 . ISBN 978-3-319-92045-0 . S2CID 51603737 .
Внешние ссылки
[ редактировать ]- МБМВ – Руководства по метрологии , Руководство по выражению неопределенности измерений (GUM) и Международный словарь метрологии (VIM)
- «За пределами прослеживаемости NIST: что действительно создает точность» , Controlled Environments журнал
- Точность и аккуратность с тремя психофизическими методами
- Приложение D.1: Терминология , рекомендации по оценке и выражению неопределенности результатов измерений NIST
- Точность и точность
- Точность против точности — краткое видео Мэтта Паркера
- В чем разница между точностью и точностью? Мэтт Антиколь на TED -Ed