Гистограмма

Информацию о гистограмме, используемой при цифровой обработке изображений, см. в разделах «Гистограмма изображения» и «Гистограмма цвета» .

Гистограмма — это визуальное представление распределения количественных данных. Этот термин был впервые введен Карлом Пирсоном . Чтобы построить гистограмму, первым шагом является «группировка» (или «группировка») диапазона значений — разделение всего диапазона значений на ряд интервалов — а затем подсчет количества значений, попадающих в каждый интервал. Бины обычно указываются как последовательные непересекающиеся интервалы переменной. Бины (интервалы) являются смежными и обычно (но не обязательно) имеют одинаковый размер.

Гистограммы дают грубое представление о плотности основного распределения данных и часто для оценки плотности : оценки функции плотности вероятности базовой переменной. Общая площадь гистограммы, используемой для определения плотности вероятности, всегда нормируется к 1. Если все интервалы по оси x равны 1, то гистограмма идентична графику относительной частоты .

Гистограммы иногда путают с гистограммами . В гистограмме каждый интервал соответствует разному диапазону значений, поэтому гистограмма в целом иллюстрирует распределение значений. Но в гистограмме каждый столбец предназначен для отдельной категории наблюдений (например, каждый столбец может относиться к разной совокупности), поэтому в целом гистограмму можно использовать для сравнения разных категорий. Некоторые авторы рекомендуют, чтобы гистограммы всегда имели промежутки между столбцами, чтобы было понятно, что они не являются гистограммами.

Примеры

Это данные для гистограммы справа, состоящей из 500 элементов:

Бин/Интервал	Количество/частота
от −3,5 до −2,51	9
от −2,5 до −1,51	32
от −1,5 до −0,51	109
от −0,5 до 0,49	180
от 0,5 до 1,49	132
от 1,5 до 2,49	34
от 2,5 до 3,49	4

Для описания закономерностей на гистограмме используются следующие слова: «симметричный», «наклон влево» или «право», «унимодальный», «бимодальный» или «мультимодальный».

• 
  Симметричный, унимодальный
• 
  Перекошено вправо
• 
  Перекошено влево
• 
  Бимодальный
• 
  Мультимодальный
• 
  Симметричный

Чтобы узнать больше об этом, рекомендуется построить график данных, используя несколько интервалов разной ширины. Вот пример чаевых, данных в ресторане.

• 
  Советы по использованию интервала шириной 1 доллар, наклоненного вправо, унимодального
• 
  Советы с использованием ширины интервала 10 центов, по-прежнему смещены вправо, мультимодальные с режимами по суммам в долларах США и 50 центов, указано округление, а также некоторые выбросы.

Бюро переписи населения США обнаружило, что 124 миллиона человек работают вне дома. Используя их данные о времени, потраченном на дорогу до работы, в приведенной ниже таблице показано абсолютное количество людей, которые ответили, что время в пути «не менее 30, но менее 35 минут» выше, чем цифры для категорий выше и ниже. Вероятно, это связано с тем, что люди округляют заявленное время в пути. Проблема представления значений в виде произвольно округленных чисел является распространенным явлением при сборе данных от людей.

Гистограмма времени в пути (на работу), перепись населения США 2000 года. Площадь под кривой равна общему числу случаев. На этой диаграмме используется Q/ширина из таблицы.

Данные в абсолютных цифрах

Интервал	Ширина	Количество	Количество/ширина
0	5	4180	836
5	5	13687	2737
10	5	18618	3723
15	5	19634	3926
20	5	17981	3596
25	5	7190	1438
30	5	16369	3273
35	5	3212	642
40	5	4122	824
45	15	9200	613
60	30	6461	215
90	60	3435	57

Эта гистограмма показывает количество случаев на единицу интервала как высоту каждого блока, так что площадь каждого блока равна количеству людей в опросе, которые попадают в его категорию. Площадь под кривой представляет общее количество случаев (124 миллиона). Этот тип гистограммы показывает абсолютные числа, где Q выражается в тысячах.

Гистограмма времени в пути (на работу), перепись населения США 2000 года. Площадь под кривой равна 1. На этой диаграмме используются значения Q/total/width (скопление) из таблицы. Высота блока представляет собой скученность, которая определяется как - процент на горизонтальную единицу.

Данные по пропорциям

Интервал	Ширина	Количество (К)	Q/всего/ширина
0	5	4180	0.0067
5	5	13687	0.0221
10	5	18618	0.0300
15	5	19634	0.0316
20	5	17981	0.0290
25	5	7190	0.0116
30	5	16369	0.0264
35	5	3212	0.0052
40	5	4122	0.0066
45	15	9200	0.0049
60	30	6461	0.0017
90	60	3435	0.0005

Эта гистограмма отличается от первой только вертикальным масштабом . Площадь каждого блока представляет собой долю от общей суммы, которую представляет каждая категория, а общая площадь всех столбцов равна 1 (доля означает «все»). Отображаемая кривая представляет собой простую оценку плотности . Эта версия показывает пропорции и также известна как гистограмма единичной площади.

Другими словами, гистограмма представляет распределение частот с помощью прямоугольников, ширина которых представляет интервалы классов, а площади пропорциональны соответствующим частотам: высота каждого из них представляет собой среднюю плотность частот для интервала. Интервалы расположены вместе, чтобы показать, что данные, представленные гистограммой, хотя и являются исключительными, но также являются смежными. (Например, на гистограмме можно иметь два соединительных интервала 10,5–20,5 и 20,5–33,5, но не два соединительных интервала 10,5–20,5 и 22,5–32,5. Пустые интервалы представляются пустыми и не пропускаются.)

Математические определения

Обычная и накопительная гистограмма одних и тех же данных. Показанные данные представляют собой случайную выборку из 10 000 точек нормального распределения со средним значением 0 и стандартным отклонением 1.

Данные, используемые для построения гистограммы, генерируются с помощью функции m _i , которая подсчитывает количество наблюдений, попадающих в каждую из непересекающихся категорий (известных как интервалы ). Таким образом, если мы позволим n быть общим количеством наблюдений, а k — общим количеством интервалов, данные гистограммы m _i удовлетворяют следующим условиям:

$n=\sum _{i=1}^{k}{m_{i}}.$

Гистограмму можно рассматривать как упрощенную оценку плотности ядра , которая использует ядро ​​для сглаживания частот по интервалам. Это дает более гладкую функцию плотности вероятности, которая, как правило, более точно отражает распределение базовой переменной. Оценку плотности можно построить как альтернативу гистограмме, и она обычно изображается в виде кривой, а не набора прямоугольников. Тем не менее, гистограммы предпочтительнее в приложениях, когда необходимо моделировать их статистические свойства. Коррелированное изменение оценки плотности ядра очень сложно описать математически, в то время как для гистограммы это просто, где каждый интервал изменяется независимо.

Альтернативой оценке плотности ядра является гистограмма со смещением среднего значения, который быстро вычисляется и дает плавную кривую оценки плотности без использования ядер.

Совокупная гистограмма

Кумулятивная гистограмма — это отображение, которое подсчитывает совокупное количество наблюдений во всех интервалах до указанного интервала. То есть совокупная гистограмма M _i гистограммы m _j определяется как:

$M_{i}=\sum _{j=1}^{i}{m_{j}}.$

Количество бункеров и ширина

Не существует «лучшего» количества ячеек, а разные размеры ячеек могут выявить разные особенности данных. Данные о группировке, по крайней мере, так же стары, как работа Граунта в 17 веке, но никаких систематических указаний не было дано. до . работы Стерджеса в 1926 году

Использование более широких интервалов с низкой плотностью базовых точек данных снижает шум из-за случайности выборки; использование более узких интервалов с высокой плотностью (поэтому сигнал заглушает шум) дает большую точность оценки плотности. Таким образом, изменение ширины интервала внутри гистограммы может быть полезным. Тем не менее, широко используются контейнеры одинаковой ширины.

Некоторые теоретики пытались определить оптимальное количество интервалов, но эти методы обычно делают строгие предположения о форме распределения. В зависимости от фактического распределения данных и целей анализа могут подходить разные ширины интервалов, поэтому для определения подходящей ширины обычно необходимы эксперименты. Однако существуют различные полезные рекомендации и практические правила.

Количество ячеек k может быть назначено напрямую или рассчитано на основе предлагаемой ширины ячейки h следующим образом:

Данные гистограммы представлены с разной шириной интервала.

$k=\left\lceil {\frac {\max x-\min x}{h}}\right\rceil .$

Фигурные скобки обозначают функцию потолка .

Выбор квадратного корня

$k=\lceil {\sqrt {n}}\rceil \,$

который извлекает квадратный корень из количества точек данных в выборке и округляет до следующего целого числа . Это правило предлагается в ряде учебников по элементарной статистике. и широко реализован во многих пакетах программного обеспечения.

Формула Стерджеса

Правило Стерджеса выводится из биномиального распределения и неявно предполагает приблизительно нормальное распределение.

$k=\lceil \log _{2}n\rceil +1,\,$

Формула Стерджеса неявно основывает размеры интервалов на диапазоне данных и может работать плохо, если n < 30 , поскольку количество интервалов будет небольшим — менее семи — и вряд ли сможет хорошо отображать тенденции в данных. С другой стороны, формула Стерджеса может переоценивать ширину интервала для очень больших наборов данных, что приводит к чрезмерно сглаженным гистограммам. Он также может работать плохо, если данные не распределяются нормально.

По сравнению с правилом Скотта и правилом Террелла-Скотта, двумя другими широко распространенными формулами для ячеек гистограммы, результат формулы Стерджеса наиболее близок, когда n ≈ 100 .

Правило риса

$k=\lceil 2{\sqrt[{3}]{n}}\rceil$

Правило Райса представлено как простая альтернатива правилу Стерджеса.

Формула Доана

Формула Доана представляет собой модификацию формулы Стерджеса, которая пытается улучшить ее эффективность при работе с ненормальными данными.

$k=1+\log _{2}(n)+\log _{2}\left(1+{\frac {|g_{1}|}{\sigma _{g_{1}}}}\right)$

где $g_{1}$ – предполагаемая асимметрия распределения в 3-й момент и

$\sigma _{g_{1}}={\sqrt {\frac {6(n-2)}{(n+1)(n+3)}}}$

Нормальное эталонное правило Скотта

Ширина бункера $h$ дается

$h={\frac {3.49{\hat {\sigma }}}{\sqrt[{3}]{n}}},$

где ${\hat {\sigma }}$ — выборочное стандартное отклонение . Нормальное эталонное правило Скотта оптимален для случайных выборок нормально распределенных данных в том смысле, что он минимизирует интегральную среднеквадратическую ошибку оценки плотности. Это правило по умолчанию, используемое в Microsoft Excel.

Правило Террелла-Скотта

$k={\sqrt[{3}]{2n}}$

Правило Террелла -Скотта не является обычным ссылочным правилом. Это дает минимальное количество интервалов, необходимое для асимптотически оптимальной гистограммы, где оптимальность измеряется интегрированной среднеквадратической ошибкой. Граница получается путем нахождения «самой гладкой» возможной плотности, которая оказывается равной ${\frac {3}{4}}(1-x^{2})$. Любая другая плотность потребует большего количества ячеек, поэтому приведенная выше оценка также называется правилом «чрезмерного сглаживания». Сходство формул и тот факт, что Террел и Скотт были в Университете Райса, когда они предложили эту формулу, позволяют предположить, что это также является источником правила Райса.

Правило Фридмана-Диакониса

Правило Фридмана-Диакониса дает ширину ячейки. $h$ как:

$h=2{\frac {\operatorname {IQR} (x)}{\sqrt[{3}]{n}}},$

который основан на межквартильном размахе , обозначаемом IQR. Он заменяет 3,5σ правила Скотта на 2 IQR, что менее чувствительно, чем стандартное отклонение, к выбросам в данных.

Минимизация квадратичной ошибки перекрестной проверки

Этот подход к минимизации интегральной среднеквадратической ошибки из правила Скотта можно обобщить за пределы нормального распределения, используя перекрестную проверку с исключением одного:

${\underset {h}{\operatorname {arg\,min} }}{\hat {J}}(h)={\underset {h}{\operatorname {arg\,min} }}\left({\frac {2}{(n-1)h}}-{\frac {n+1}{n^{2}(n-1)h}}\sum _{k}N_{k}^{2}\right)$

Здесь, $N_{k}$ — это количество точек данных в k -м интервале, и выбор значения h , которое минимизирует J, минимизирует интегрированную среднеквадратическую ошибку.

Выбор Симадзаки и Синомото

Выбор основан на минимизации оценочного L ² функция риска

${\underset {h}{\operatorname {arg\,min} }}{\frac {2{\bar {m}}-v}{h^{2}}}$

где $\textstyle {\bar {m}}$ и $\textstyle v$ являются средней и смещенной дисперсией гистограммы с шириной интервала $\textstyle h$, $\textstyle {\bar {m}}={\frac {1}{k}}\sum _{i=1}^{k}m_{i}$ и $\textstyle v={\frac {1}{k}}\sum _{i=1}^{k}(m_{i}-{\bar {m}})^{2}$.

Переменная ширина бункера

Вместо того, чтобы выбирать равномерно расположенные бункеры, для некоторых применений предпочтительнее варьировать ширину бункеров. Это позволяет избежать ячеек с малым количеством. Распространенным случаем является выбор равновероятных интервалов , при которых ожидается, что количество образцов в каждом интервале будет примерно равным. Ячейки могут быть выбраны в соответствии с некоторым известным распределением или могут быть выбраны на основе данных так, чтобы каждая ячейка имела $\approx n/k$ образцы. При построении гистограммы плотность частот в качестве зависимой оси используется . Хотя все ячейки имеют примерно одинаковую площадь, высота гистограммы приблизительно соответствует распределению плотности.

Для равновероятных бинов предлагается следующее правило количества бинов:

$k=2n^{2/5}$

Такой выбор ячеек мотивирован максимизацией эффективности теста хи-квадрат Пирсона , проверяющего, содержат ли ячейки одинаковое количество образцов. Точнее, для заданного доверительного интервала $\alpha$ рекомендуется выбирать от 1/2 до 1 раза следующего уравнения:

$k=4\left({\frac {2n^{2}}{\Phi ^{-1}(\alpha )}}\right)^{\frac {1}{5}}$

Где $\Phi ^{-1}$ — пробит- функция. Следуя этому правилу для $\alpha =0.05$ дал бы между $1.88n^{2/5}$ и $3.77n^{2/5}$; коэффициент 2 выбран как легко запоминающееся значение из этого широкого оптимума.

Примечание

Веская причина, почему количество бункеров должно быть пропорционально ${\sqrt[{3}]{n}}$ заключается в следующем: предположим, что данные получены как $n$ независимые реализации ограниченного распределения вероятностей с гладкой плотностью. Тогда гистограмма остается столь же «неровной», как и $n$ стремится к бесконечности. Если $s$ - это «ширина» распределения (например, стандартное отклонение или межквартильный диапазон), тогда количество единиц в интервале (частота) имеет порядок $nh/s$ и относительная стандартная ошибка имеет порядок ${\sqrt {s/(nh)}}$. По сравнению со следующим интервалом относительное изменение частоты имеет порядок. $h/s$ при условии, что производная плотности не равна нулю. Эти два имеют один и тот же порядок, если $h$ в порядке $s/{\sqrt[{3}]{n}}$, так что $k$ в порядке ${\sqrt[{3}]{n}}$. Этот простой выбор кубического корня также можно применить к интервалам непостоянной ширины.

Гистограмма и функция плотности распределения Гамбеля

Приложения

• В гидрологии гистограмма и расчетная функция плотности данных об осадках и расходе рек, проанализированные с помощью распределения вероятностей , используются для понимания их поведения и частоты появления. Пример показан на синем рисунке.
• Во многих программах цифровой обработки изображений есть инструмент гистограммы, который показывает распределение контрастности / яркости пикселей .

  

  гистограмма контраста

См. также

• Визуализация данных и информации
• Объединение данных
• Оценка плотности
  • Оценка плотности ядра , более плавный, но более сложный метод оценки плотности.
• Оценка энтропии
• Правило Фридмана-Диакониса
• Гистограмма изображения
• Диаграмма Парето
• Семь основных инструментов качества
• V-оптимальные гистограммы

Дальнейшее чтение

• Ланкастер, Х.О. Введение в медицинскую статистику. Джон Уайли и сыновья. 1974. ISBN   0-471-51250-8

Внешние ссылки

• Исследование гистограмм , эссе Арана Лунцера и Амелии Макнамара
• Дорога на работу и место работы (местоположение переписного документа указано в примере)
• Гладкая гистограмма для сигналов и изображений из нескольких образцов
• Гистограммы: построение, анализ и понимание с внешними ссылками и приложением к физике элементарных частиц.
• Метод выбора размера интервала гистограммы
• Гистограммы: теория и практика — несколько замечательных иллюстраций некоторых концепций ширины интервала, выведенных выше.
• Гистограммы – правильный путь
• Интерактивный генератор гистограмм
• Функция Matlab для построения красивых гистограмм
• Динамическая гистограмма в MS Excel
• гистограмм Построение и манипулирование ими с использованием Java-апплетов и диаграмм на SOCR.
• Набор инструментов для построения лучших гистограмм