Хронология теории информации

Хронология событий, связанных с  теория информации ,  квантовая теория информации и статистическая физика ,  сжатие данных ,  коды исправления ошибок и связанные с ними темы.

• 1872 – Людвиг Больцман представляет свою H-теорему формулу Σ pi _log , а вместе с ней и pi _. для энтропии отдельной частицы газа
• 1878 – Дж. Уиллард Гиббс определяет энтропию Гиббса : вероятности в формуле энтропии теперь принимаются как вероятности состояния всей системы.
• 1924 – Гарри Найквист обсуждает количественную оценку «разведка» и скорость, с которой она может передаваться системой связи
• 1927 – Джон фон Нейман определяет энтропию фон Неймана , распространяя энтропию Гиббса на квантовую механику.
• 1928 – Ральф Хартли представляет информацию Хартли как логарифм количества возможных сообщений, при этом информация передается, когда получатель может отличить одну последовательность символов от любой другой (независимо от какого-либо связанного с ней значения).
• 1929 - Лео Сцилард анализирует «Демона Максвелла» , показывая, как машина Сциларда иногда может преобразовывать информацию в извлечение полезной работы.
• 1940 - Алан Тьюринг представляет децибан как меру информации, полученную о настройках немецкого машинного шифрования Enigma с помощью Banburismus. процесса
• 1944 – Клода Шеннона практически завершена. Теория информации
• 1947 - Ричард В. Хэмминг изобретает коды Хэмминга для обнаружения и исправления ошибок (для защиты патентных прав результат не публикуется до 1950 года).
• 1948 - Клод Э. Шеннон публикует «Математическую теорию коммуникации».
• 1949 - Клод Э. Шеннон публикует «Коммуникацию в присутствии шума» - Теорема выборки Найквиста-Шеннона и закон Шеннона-Хартли.
• 1949 - Клода Э. Шеннона . коммуникационная теория секретных систем Рассекречена
• 1949 – Роберт М. Фано публикует «Передачу информации» . MIT Press, Кембридж, Массачусетс – кодирование Шеннона – Фано
• 1949 – Леон Г. Крафт открывает неравенство Крафта , которое показывает пределы префиксных кодов.
• 1949 – Марсель Дж. Э. Голей представляет коды Голея для прямого исправления ошибок.
• 1951 - Соломон Кульбак и Ричард Лейблер представляют расхождение Кульбака – Лейблера.
• 1951 – Дэвид А. Хаффман изобретает кодировку Хаффмана — метод поиска оптимальных префиксных кодов для без потерь . сжатия данных
• 1953 - Август Альберт Сардинас и Джордж Паттерсон разрабатывают алгоритм Сардинаса-Паттерсона , процедуру, позволяющую решить, является ли данный код переменной длины однозначно декодируемым.
• 1954 - Ирвинг С. Рид и Дэвид Э. Мюллер предлагают коды Рида – Мюллера.
• 1955 – Питер Элиас представляет сверточные коды
• 1957 - Юджин Прейндж впервые обсуждает циклические коды.
• 1959 – Алексис Хоквенгем и независимо друг от друга в следующем году Радж Чандра Бос и Двиджендра Кумар Рэй-Чаудхури открывают коды BCH .
• 1960 - Ирвинг С. Рид и Гюстав Соломон предлагают коды Рида – Соломона.
• 1962 – Роберт Г. Галлагер предлагает коды проверки четности низкой плотности ; они не используются в течение 30 лет из-за технических ограничений
• 1965 – Дэйв Форни обсуждает составные коды
• 1966 – Фумитада Итакура ( Университет Нагои ) и Сюдзо Сайто ( Nippon Telegraph and Telephone ) разрабатывают линейное предсказательное кодирование (LPC), форму кодирования речи.
• 1967 – Эндрю Витерби раскрывает алгоритм Витерби , делающий возможным декодирование сверточных кодов.
• 1968 – Элвин Берлекамп изобретает алгоритм Берлекэмпа – Мэсси ; на его применение для декодирования кодов BCH и Рида – Соломона указал Джеймс Л. Мэсси в следующем году.
• 1968 – Крис Уоллес и Дэвид М. Бултон публикуют первую из многих статей о минимальной длины сообщения ( MML ). статистическом и индуктивном выводе
• 1970 – Валерий Денисович Гоппа знакомит с кодами Гоппы
• 1972 – Йорн Юстесен предлагает коды Юстесена , усовершенствованные коды Рида – Соломона.
• 1972 – Насир Ахмед предлагает дискретное косинусное преобразование (ДКП), которое он разработал вместе с Т. Натараджан и К.Р. Рао в 1973 году; Позже DCT стал наиболее широко используемым алгоритмом сжатия с потерями , основой для таких мультимедийных форматов, как JPEG , MPEG и MP3.
• 1973 – Дэвид Слепиан и Джек Вольф открывают и доказывают Слепиана-Вольфа для кодирования ограничения с распределенным исходным кодом.
• 1976 – Готфрид Унгербёк представляет первую статью о решетчатой ​​модуляции ; более подробное изложение в 1982 году привело к повышению скорости аналоговых модемов POTS с 9,6 кбит/с до 33,6 кбит/с.
• 1976 – Ричард Паско и Йорма Дж. Риссанен разрабатывают эффективные арифметического кодирования. методы
• 1977 - Авраам Лемпель и Джейкоб Зив разрабатывают сжатие Лемпеля-Зива ( LZ77 ).
• 1982 – Валерий Денисович Гоппа знакомит с кодами алгебраической геометрии.
• 1989 – Кац публикует Фил .zip формат, включая DEFLATE (LZ77 + кодирование Хаффмана); позже стал наиболее широко используемым архивным контейнером.
• 1993 – Клод Берру , Ален Главье и Пунья Титимайшима представляют турбокоды
• 1994 – Майкл Берроуз и Дэвид Уилер публикуют преобразование Берроуза-Уиллера , которое позже найдет применение в bzip2.
• 1995 – Бенджамин Шумахер вводит термин «кубит» и доказывает теорему квантового бесшумного кодирования.
• 2003 – Дэвид Дж. К. Маккей в своей книге показывает связь между теорией информации, логическими выводами и машинным обучением.
• 2006 – Ярослав Дуда представляет первое энтропийное кодирование асимметричных систем счисления : с 2014 года популярная замена Хаффмана и арифметического кодирования в таких компрессорах, как Facebook Zstandard , Apple LZFSE , CRAM или JPEG XL.
• 2008 – Эрдал Арыкан представляет полярные коды , первую практическую конструкцию кодов, обеспечивающую пропускную способность для широкого спектра каналов.