Негэнтропия

Не путать с отрицательной энтропией .

«Синтропия» перенаправляется сюда. Чтобы узнать о других значениях, см. Syntropy (программное обеспечение) .

В теории информации статистике негэнтропия и используется как мера расстояния до нормальности. Понятие и фраза « отрицательная энтропия » были введены Эрвином Шрёдингером в его научно-популярной книге 1944 года « Что такое жизнь?». Позже французский физик Леон Бриллюэн сократил это словосочетание до néguentropie (негэнтропия). В 1974 году Альберт Сент-Дьёрдьи предложил заменить термин «негэнтропия синтропией » . Этот термин, возможно, возник в 1940-х годах у итальянского математика Луиджи Фантаппие , который пытался построить единую теорию биологии и физики . Бакминстер Фуллер пытался популяризировать это использование, но негэнтропия остается распространенным явлением.

В примечании к книге «Что такое жизнь?» Шредингер объяснил использование этой фразы.

... если бы я обслуживал только их [физиков], я бы вместо этого позволил дискуссию перейти к свободной энергии . Это более знакомое понятие в данном контексте. Но этот весьма технический термин казался лингвистически слишком близким к энергии , чтобы дать среднему читателю почувствовать контраст между двумя вещами.

Теория информации

В теории информации и статистике негэнтропия используется как мера расстояния до нормальности. Из всех распределений с заданным средним значением и дисперсией нормальное или гауссово распределение имеет наибольшую энтропию . Негэнтропия измеряет разницу в энтропии между данным распределением и распределением Гаусса с тем же средним значением и дисперсией. Таким образом, негэнтропия всегда неотрицательна, инвариантна при любом линейном обратимом изменении координат и обращается в нуль тогда и только тогда, когда сигнал является гауссовским.

Негэнтропия определяется как

$J(p_{x})=S(\varphi _{x})-S(p_{x})\,$

где $S(\varphi _{x})$ - дифференциальная энтропия гауссовой плотности с тем же средним значением и дисперсией, что и $p_{x}$ и $S(p_{x})$ - дифференциальная энтропия $p_{x}$:

$S(p_{x})=-\int p_{x}(u)\log p_{x}(u)\,du$

Негэнтропия используется в статистике и обработке сигналов . Это связано с сетевой энтропией , которая используется в анализе независимых компонентов .

Негэнтропия распределения равна расхождению Кульбака – Лейблера между $p_{x}$ и распределение Гаусса с тем же средним значением и дисперсией, что и $p_{x}$ ( см. в разделе Дифференциальная энтропия § Максимизация в нормальном распределении доказательство ). В частности, оно всегда неотрицательно.

Корреляция между статистической негэнтропией и свободной энергией Гиббса

) Уилларда Гиббса 1873 года График доступной энергии ( свободной энергии , на котором показана плоскость, перпендикулярная оси v ( объема ) и проходящая через точку А, которая представляет начальное состояние тела. MN – сечение поверхности рассеиваемой энергии . Qε и Qη являются сечениями плоскостей η = 0 и ε = 0, а значит, параллельны осям ε ( внутренняя энергия ) и η ( энтропия ) соответственно. AD и AE — это энергия и энтропия тела в исходном состоянии, AB и AC — его располагаемая энергия ( энергия Гиббса ) и его способность к энтропии (величина, на которую можно увеличить энтропию тела без изменения энергии тела). тела или увеличения его объёма) соответственно.

Существует физическая величина, тесно связанная со свободной энергией ( свободная энтальпия ), с единицей измерения энтропии и изоморфная негэнтропии, известная в статистике и теории информации. В 1873 году Уиллард Гиббс создал диаграмму, иллюстрирующую концепцию свободной энергии, соответствующей свободной энтальпии . На диаграмме можно увидеть величину, называемую емкостью энтропии . Эта величина представляет собой количество энтропии, которое можно увеличить без изменения внутренней энергии или увеличения ее объема. Другими словами, это разница между максимально возможной при предполагаемых условиях энтропией и ее фактической энтропией. Оно в точности соответствует определению негэнтропии, принятому в статистике и теории информации. Аналогичная физическая величина была введена в 1869 г. Массие для изотермического процесса. (обе величины различаются только знаком цифры) и затем Планка для изотермически - изобарного процесса. Масье-Планка Совсем недавно было показано, что термодинамический потенциал , известный также как свободная энтропия , играет большую роль в так называемой энтропийной формулировке статистической механики . применяется, среди прочего, в молекулярной биологии и термодинамические неравновесные процессы.

$J=S_{\max }-S=-\Phi =-k\ln Z\,$

где:

$S$ это энтропия

$J$ является негэнтропией («способность Гиббса к энтропии»)

$\Phi$ потенциал Масье

$Z$ это функция распределения

$k$ Больцмана постоянная

В частности, математически негэнтропия (функция отрицательной энтропии, в физике интерпретируемая как свободная энтропия) является выпуклой сопряженной функцией LogSumExp (в физике интерпретируемой как свободная энергия).

Принцип негэнтропии информации Бриллюэна

В 1953 году Леон Бриллюэн вывел общее уравнение утверждая, что для изменения значения информационного бита требуется как минимум $kT\ln 2$ энергия. Это та же самая энергия, которую производит двигатель Лео Силарда в идеалистическом случае. В своей книге он дополнительно исследовал эту проблему и пришел к выводу, что любая причина изменения значения этого бита (измерение, решение вопроса «да/нет», стирание, отображение и т. д.) потребует одинакового количества энергии.

См. также

• Эксергия
• Свободная энтропия
• Энтропия в термодинамике и теории информации