Цензура (статистика)

В статистике ценность цензура это состояние, при котором измерения или известна наблюдения — лишь частично.

Например, предположим, что проводится исследование для измерения влияния лекарства на уровень смертности . В таком исследовании может быть известно, что возраст человека на момент смерти составляет не менее 75 лет (но может быть и больше). Такая ситуация может возникнуть, если человек вышел из исследования в возрасте 75 лет или если человек в настоящее время жив в возрасте 75 лет.

Цензурирование также происходит, когда значение выходит за пределы диапазона измерительного прибора . Например, напольные весы могут весить не более 140 кг. Если на весах взвешивают человека массой 160 кг, наблюдатель будет знать только, что вес человека составляет не менее 140 кг.

Проблема цензурированных данных, в которых наблюдаемое значение некоторой переменной частично известно, связана с проблемой отсутствия данных , когда наблюдаемое значение некоторой переменной неизвестно.

Цензуру не следует путать с сокращением соответствующей идеи . При цензурировании наблюдения приводят либо к знанию точного применимого значения, либо к знанию того, что это значение находится в пределах интервала . При усечении наблюдения никогда не приводят к значениям, выходящим за пределы заданного диапазона: значения в совокупности за пределами этого диапазона никогда не наблюдаются и никогда не записываются, если они наблюдаются. Обратите внимание, что в статистике усечение — это не то же самое, что округление .

Типы

• Левая цензура – ​​точка данных ниже определенного значения, но неизвестно, насколько.
• Интервальная цензура – ​​точка данных находится где-то в интервале между двумя значениями.
• Правая цензура – ​​точка данных превышает определенное значение, но неизвестно, насколько.
• Цензура типа I происходит, если в эксперименте используется определенное количество субъектов или предметов, и эксперимент останавливается в заранее определенное время, после чего все оставшиеся субъекты подвергаются цензуре справа.
• Цензура типа II происходит, если в эксперименте участвует определенное количество субъектов или предметов, и эксперимент останавливается, когда заранее определенное количество оказывается неудачным; остальные предметы затем подвергаются правой цензуре.
• Случайная (или неинформативная ) цензура — это когда у каждого субъекта есть время цензурирования, которое статистически не зависит от времени его неудачи. Наблюдаемое значение представляет собой минимум времени цензурирования и сбоя; субъекты, время неудачи которых превышает время цензуры, подвергаются цензуре справа.

Интервальная цензура может применяться, когда наблюдение за значением требует последующих действий или проверок. Левая и правая цензура — это особые случаи интервальной цензуры, где начало интервала равно нулю, а конец — бесконечности соответственно.

Методы оценки для использования данных с левой цензурой различаются, и не все методы оценки могут быть применимы или наиболее надежны для всех наборов данных.

Распространенное заблуждение в отношении данных временных интервалов состоит в том, что их классифицируют как интервалы с цензурой слева , время начала которых неизвестно. В этих случаях у нас есть нижняя граница временного интервала , поэтому данные подвергаются цензуре справа (несмотря на то, что отсутствующая начальная точка находится слева от известного интервала, если рассматривать их как временную шкалу!).

Анализ

Для обработки подвергнутых цензуре данных могут использоваться специальные методы. Тесты с определенным временем сбоя кодируются как фактические сбои; цензурированные данные кодируются в соответствии с типом цензуры и известным интервалом или пределом. Специальные программы (часто ориентированные на надежность ) могут выполнять оценку максимального правдоподобия для сводной статистики, доверительных интервалов и т. Д.

Эпидемиология

Одной из первых попыток проанализировать статистическую проблему, включающую цензурированные данные, был Даниэлем Бернулли анализ в 1766 году данных о заболеваемости и смертности от оспы , чтобы продемонстрировать эффективность вакцинации . Первой статьей, в которой использовался оценщик Каплана – Мейера для оценки цензурированных затрат, была Quesenberry et al. (1989), однако этот подход был признан Lin et al. недействительным. если все пациенты не накапливали затраты с общей детерминированной функцией скорости с течением времени, они предложили альтернативный метод оценки, известный как оценщик Лина.

Испытание срока службы

Пример пяти повторных тестов, которые привели к четырем сбоям и одному приостановке, что привело к цензуре.

Тестирование надежности часто состоит из проведения испытаний объекта (при определенных условиях) для определения времени, необходимого для возникновения отказа.

• Иногда отказ запланирован и ожидаем, но не происходит: ошибка оператора, неисправность оборудования, аномалия теста и т. д. Результат теста не соответствует желаемому времени до отказа, но его можно (и нужно) использовать в качестве времени до отказа. прекращение. Использование подвергнутых цензуре данных непреднамеренно, но необходимо.
• Иногда инженеры планируют программу испытаний так, что после определенного срока или количества отказов все остальные тесты будут прекращены. Это время приостановки рассматривается как данные, подвергнутые цензуре справа. Использование цензурированных данных является преднамеренным.

Анализ данных повторных тестов включает в себя как время до сбоя для элементов, которые не сработали, так и время завершения тестирования для тех элементов, которые не дали сбоя.

регрессия

Более ранняя модель цензурированной регрессии , модель тобита , была предложена Джеймсом Тобином в 1958 году.

Вероятность

Вероятность — это вероятность или плотность вероятности того, что наблюдалось, рассматриваемая как функция параметров предполагаемой модели. Чтобы включить цензурированные точки данных в вероятность, цензурированные точки данных представлены вероятностью подвергнутых цензуре точек данных как функции параметров модели, заданной моделью, т.е. функцией CDF(ов) вместо плотности или массы вероятности.

Наиболее общим случаем цензурирования является интервальная цензура: $Pr(a<x\leqslant b)=F(b)-F(a)$, где $F(x)$ — CDF распределения вероятностей, и есть два особых случая:

• левая цензура: $Pr(-\infty <x\leqslant b)=F(b)-F(-\infty )=F(b)-0=F(b)=Pr(x\leqslant b)$

• правильная цензура: $Pr(a<x\leqslant \infty )=F(\infty )-F(a)=1-F(a)=1-Pr(x\leqslant a)=Pr(x>a)$

Для непрерывных распределений вероятностей: $Pr(a<x\leqslant b)=Pr(a<x<b)$

Пример

Предположим, нас интересует время выживания, $T_{1},T_{2},...,T_{n}$, но мы не наблюдаем $T_{i}$ для всех $i$. Вместо этого мы наблюдаем

$(U_{i},\delta _{i})$, с $U_{i}=T_{i}$ и $\delta _{i}=1$ если $T_{i}$ действительно наблюдается, и

$(U_{i},\delta _{i})$, с $U_{i}<T_{i}$ и $\delta _{i}=0$ если все, что мы знаем, это то, что $T_{i}$ длиннее, чем $U_{i}$.

Когда $T_{i}>U_{i},U_{i}$ называется временем цензурирования .

Если время цензурирования является всем известными константами, то вероятность равна

$L=\prod _{i,\delta _{i}=1}f(u_{i})\prod _{i,\delta _{i}=0}S(u_{i})$

где $f(u_{i})$ = функция плотности вероятности, оцененная при $u_{i}$,

и $S(u_{i})$ = вероятность того, что $T_{i}$ больше, чем $u_{i}$, называемая функцией выживания .

Это можно упростить, определив функцию риска , мгновенную силу смертности, как

$\lambda (u)=f(u)/S(u)$

так

$f(u)=\lambda (u)S(u)$.

Затем

$L=\prod _{i}\lambda (u_{i})^{\delta _{i}}S(u_{i})$.

Для экспоненциального распределения это становится еще проще, поскольку уровень опасности $\lambda$, является постоянным, и $S(u)=\exp(-\lambda u)$. Затем:

$L(\lambda )=\lambda ^{k}\exp(-\lambda \sum {u_{i}})$,

где $k=\sum {\delta _{i}}$.

Отсюда мы легко вычисляем ${\hat {\lambda }}$, максимального правдоподобия (MLE) оценка $\lambda$, следующее:

$l(\lambda )=\log(L(\lambda ))=k\log(\lambda )-\lambda \sum {u_{i}}$.

Затем

$dl/d\lambda =k/\lambda -\sum {u_{i}}$.

Мы устанавливаем это значение на 0 и находим $\lambda$ получить:

${\hat {\lambda }}=k/\sum u_{i}$.

Аналогично, среднее время до отказа равно:

$1/{\hat {\lambda }}=\sum u_{i}/k$.

Это отличается от стандартного MLE для экспоненциального распределения тем, что любые цензурированные наблюдения учитываются только в числителе.

См. также

• Анализ данных
• Предел обнаружения
• Вменение (статистика)
• Взвешивание обратной вероятности
• Смещение выборки
• Арифметика насыщения
• Анализ выживания
• Винсоризинг

Дальнейшее чтение

• Блоуэр, С. (2004), Д., Бернулли» «Попытка нового анализа смертности от оспы и преимуществ прививки для ее предотвращения» (PDF) . Архивировано из оригинала (PDF) 8 августа 2017 г. Проверено 25 июня 2019 г.   (146 КиБ ) », «Обзоры медицинской вирусологии» , 14 : 275–288.
• Брэдли, Л. (1971). Прививка от оспы: математическая полемика восемнадцатого века . Ноттингем. ISBN  0-902031-23-6 . {{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
• Манн, Северная Каролина ; и др. (1975). Методы статистического анализа данных о надежности и сроке службы . Нью-Йорк: Уайли. ISBN  047156737X .
• Багдонавичус В., Круопис Дж., Никулин М.С. (2011), «Непараметрические тесты для цензурированных данных», Лондон, ISTE/WILEY, ISBN   9781848212893 .

Внешние ссылки

• «Справочник по инженерной статистике», NIST/SEMATEK, [1]