Энтропия в термодинамике и теории информации

Математические выражения для термодинамической энтропии в формулировке статистической термодинамики , установленной Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, аналогичны информационной энтропии Клода Шеннона и Ральфа Хартли , разработанной в 1940-х годах.

Эквивалентность формы определяющих выражений

Определяющее выражение для энтропии в теории статистической механики, установленное Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, имеет форму:

S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i},

где $p_{i}$ – вероятность микросостояния i , взятого из равновесного ансамбля , и $k_{B}$ — постоянная Больцмана .

Определяющее выражение для энтропии в теории информации, установленное Клодом Э. Шенноном в 1948 году, имеет форму:

H=-\sum _{i}p_{i}\log _{b}p_{i},

где $p_{i}$ вероятность сообщения $m_{i}$ пространства сообщений M , а b — основание логарифма берется из используемого . Обычными значениями b являются 2, число Эйлера $e$ и 10, а единицей энтропии является Шеннон (или бит ) для b = 2, nat для b = $e$ и Хартли для b = 10. ^[1]

Математически H также можно рассматривать как среднюю информацию, взятую по пространству сообщений, потому что, когда определенное сообщение возникает с вероятностью p _i количество информации -log( p _i ) (называемое информационным содержанием , будет получено или собственной информацией).

Если все микросостояния равновероятны ( микроканонический ансамбль ), статистическая термодинамическая энтропия сводится к виду, заданному Больцманом:

S=k_{\text{B}}\ln W,

где W — число микросостояний, соответствующее макроскопическому термодинамическому состоянию. Следовательно, S зависит от температуры.

Если все сообщения равновероятны, информационная энтропия сводится к энтропии Хартли.

H=\log _{b}|M|\ ,

где $|M|$ — мощность пространства M. сообщений

Логарифм в термодинамическом определении — это натуральный логарифм . Можно показать, что формула энтропии Гиббса с натуральным логарифмом воспроизводит все свойства макроскопической классической термодинамики Рудольфа Клаузиуса . (См. статью: Энтропия (статистические представления) ).

Логарифм можно также перевести в натуральное основание в случае информационной энтропии. Это эквивалентно выбору измерения информации в нацах вместо обычных битов (или, более формально, в шеннонах). На практике информационная энтропия почти всегда рассчитывается с использованием логарифмов по основанию 2, но это различие сводится не к чему иному, как к изменению единиц измерения. Один нат составляет около 1,44 шеннона.

Для простой сжимаемой системы, которая может совершать только объемную работу, первый закон термодинамики принимает вид

dE=-pdV+TdS.

Но с таким же успехом можно записать это уравнение в терминах того, что физики и химики иногда называют «приведенной» или безразмерной энтропией, σ = S / k , так что

dE=-pdV+k_{\text{B}}Td\sigma .

Как S сопряжено с T , так и σ сопряжено с k _B T (энергией, характерной для T на молекулярном уровне).

Таким образом, определения энтропии в статистической механике ( формула энтропии Гиббса $S=-k_{\mathrm {B} }\sum _{i}p_{i}\log p_{i}$ ) и в классической термодинамике ( $dS={\frac {\delta Q_{\text{rev}}}{T}}$ , и фундаментальное термодинамическое соотношение ) эквивалентны для микроканонического ансамбля и статистических ансамблей, описывающих термодинамическую систему, находящуюся в равновесии с резервуаром, таких как канонический ансамбль , большой канонический ансамбль , изотермически-изобарический ансамбль . Эта эквивалентность обычно показана в учебниках. Однако эквивалентность между термодинамическим определением энтропии и энтропией Гиббса не является общей, а является исключительным свойством обобщенного распределения Больцмана . ^[2]

Кроме того, было показано, что определения энтропии в статистической механике - это единственная энтропия, которая эквивалентна энтропии классической термодинамики при следующих постулатах: ^[3]

Функция плотности вероятности пропорциональна некоторой функции параметров ансамбля и случайных величин.
Термодинамические функции состояния описываются средними по ансамблю случайных величин.
При бесконечной температуре все микросостояния имеют одинаковую вероятность.

Теоретические отношения

Несмотря на вышесказанное, между этими двумя величинами существует разница. Информационная энтропия Η может быть рассчитана для любого распределения вероятностей (если «сообщением» считать, что событие i , имевшее вероятность p _i , произошло вне пространства возможных событий), тогда как термодинамическая энтропия S относится к термодинамической энтропии. вероятности p _i конкретно. Однако разница скорее теоретическая, чем реальная, поскольку любое распределение вероятностей может быть сколь угодно близко аппроксимировано некоторой термодинамической системой. ^{[ нужна ссылка ]}

Более того, между ними может быть установлена прямая связь. Если рассматриваемые вероятности представляют собой термодинамические вероятности p _i : (приведенную) энтропию Гиббса σ можно рассматривать как просто количество информации Шеннона, необходимой для определения подробного микроскопического состояния системы с учетом ее макроскопического описания. Или, по словам Г. Н. Льюиса, писавшего о химической энтропии в 1930 году: «Прирост энтропии всегда означает потерю информации, и ничего более». Если говорить более конкретно, то в дискретном случае с использованием логарифмов по основанию два приведенная энтропия Гиббса равна среднему значению минимального количества вопросов типа «да-нет», на которые необходимо ответить, чтобы полностью определить микросостояние , при условии, что мы знаем макросостояние. .

Более того, рецепт нахождения равновесных распределений статистической механики, таких как распределение Больцмана, путем максимизации энтропии Гиббса с учетом соответствующих ограничений ( алгоритм Гиббса ) можно рассматривать не как нечто уникальное для термодинамики, а как принцип общего значения. в статистическом выводе, если требуется найти максимально неинформативное распределение вероятностей с учетом определенных ограничений на его средние значения. (Эти перспективы рассматриваются далее в статье « Термодинамика максимальной энтропии ».)

Энтропия Шеннона в теории информации иногда выражается в битах на символ. Физическая энтропия может рассчитываться на основе количества ( h ), которая называется « интенсивной » энтропией, вместо обычной полной энтропии, которая называется «экстенсивной» энтропией. «Шенноны» сообщения ( Н ) представляют собой его полную «обширную» информационную энтропию и в h раз превышают количество битов в сообщении.

Прямую и физически реальную связь между h и S можно найти, присвоив символ каждому микросостоянию, которое возникает на моль, килограмм, объем или частицу однородного вещества, а затем вычислив «h» этих символов. Согласно теории или наблюдениям, символы (микросостояния) будут возникать с разной вероятностью, и это будет определять h . Если имеется N молей, килограммов, объемов или частиц единицы вещества, соотношение между h (в битах на единицу вещества) и физической экстенсивной энтропией в нат.

S=k_{\mathrm {B} }\ln(2)Nh

где ln(2) — коэффициент перевода базы 2 энтропии Шеннона в естественную базу e физической энтропии. N h необходимое для описания состояния физической системы с энтропией S. — количество информации в битах , Принцип Ландауэра демонстрирует реальность этого, утверждая, что минимальная энергия E, необходимая (и, следовательно, выделяемое тепло Q ) при идеально эффективном изменении памяти или логической операции путем необратимого стирания или слияния N h бит информации, будет в S раз выше температуры, которая

E=Q=Tk_{\mathrm {B} }\ln(2)Nh,

где h — в информационных битах, а E и Q — в физических джоулях. Это подтверждено экспериментально. ^[4]

Температура является мерой средней кинетической энергии частицы в идеальном газе (Кельвины = ⁠ 2/3 ) , безразмерны ⁠ джоули/ k _B поэтому единицы Дж/К для ( _{k B} джоуль/джоуль). k _b – коэффициент пересчета энергии в ⁠ 3/2 ⁠ кельвина в джоули для идеального газа. Если бы измерения кинетической энергии на частицу идеального газа выражались в джоулях, а не в кельвинах, k _b в приведенных выше уравнениях было бы заменено на 3/2. Это показывает, что S является истинной статистической мерой микросостояний, которая не имеет фундаментальной физической единицы, кроме единиц информации, в данном случае nats, что представляет собой просто утверждение того, какое основание логарифма было выбрано по соглашению.

Информация является физической

Двигатель Сциларда

Физический мысленный эксперимент, демонстрирующий, как простое обладание информацией может в принципе иметь термодинамические последствия, был установлен в 1929 году Лео Силардом в виде уточнения знаменитого демона Максвелла . сценария ^[5] (и обращение мысленного эксперимента с расширением Джоуля ).

Рассмотрим установку Максвелла, но в ящике только одна частица газа. Если сверхъестественный демон знает, в какой половине ящика находится частица (что эквивалентно одному биту информации), он может закрыть ставень между двумя половинами ящика, беспрепятственно закрыть поршень в пустой половине ящика и затем извлеките $k_{\text{B}}T\ln 2$ джоули полезной работы, если снова открыть затвор. Затем частице можно позволить изотермически расшириться до своего первоначального равновесного занимаемого объема. Таким образом, при правильных обстоятельствах обладание одним битом информации Шеннона (одним битом негэнтропии в терминах Бриллюэна) действительно соответствует уменьшению энтропии физической системы. Глобальная энтропия не уменьшается, но преобразование информации в свободную энергию возможно.

Этот мысленный эксперимент был физически продемонстрирован с использованием фазово-контрастного микроскопа, оснащенного высокоскоростной камерой, подключенной к компьютеру, выступающему в роли демона . ^[6] В этом эксперименте преобразование информации в энергию осуществляется на броуновской частице посредством управления с обратной связью ; то есть синхронизировать работу, отданную частице, с информацией, полученной о ее положении. Вычисление энергетических балансов для различных протоколов обратной связи подтвердило, что равенство Яржинского требует обобщения, учитывающего объем информации, участвующей в обратной связи.

Принцип Ландауэра

На самом деле можно обобщить: любая информация, имеющая физическое представление, должна каким-то образом быть встроена в статистические механические степени свободы физической системы.

Таким образом, Рольф Ландауэр утверждал в 1961 году, что если представить, что начиная с этих степеней свободы в термализованном состоянии, произойдет реальное снижение термодинамической энтропии, если их затем вернуть в известное состояние. Этого можно достичь только в условиях сохраняющей информацию микроскопически детерминированной динамики, если неопределенность каким-то образом сбрасывается куда-то еще – т.е. если энтропия окружающей среды (или не несущие информации степени свободы) увеличивается по крайней мере на эквивалентную величину, как требуется. согласно Второму закону, путем получения соответствующего количества тепла: а именно кТ ln 2 тепла на каждый стертый бит случайности.

С другой стороны, утверждал Ландауэр, нет никаких термодинамических возражений против того, чтобы логически обратимая операция потенциально достигалась в системе физически обратимым способом. Лишь логически необратимые операции — например, стирание бита до известного состояния или слияние двух вычислительных путей — должны сопровождаться соответствующим увеличением энтропии. Когда информация является физической, вся обработка ее представлений, т.е. генерация, кодирование, передача, декодирование и интерпретация, являются естественными процессами, в которых энтропия увеличивается за счет потребления свободной энергии. ^[7]

Применительно к сценарию «Демон Максвелла/Сциларда» это предполагает, что можно «прочитать» состояние частицы в вычислительное устройство без затрат энтропии; но только в том случае, если устройство уже переведено в известное состояние, а не находится в термализованном состоянии неопределенности. Для ПЕРЕВОДА (или СБРОСА ) аппарата в это состояние потребуется вся энтропия, которую можно сохранить, зная состояние частицы Сциларда.

В 2008 и 2009 годах исследователи показали, что принцип Ландауэра может быть выведен из второго закона термодинамики и изменения энтропии, связанного с получением информации, развивая термодинамику квантовых и классических систем с обратной связью. ^[8]^[9]

Негэнтропия

Энтропия Шеннона была связана физиком Леоном Бриллюэном с концепцией, которую иногда называют негэнтропией . В 1953 году Бриллюэн вывел общее уравнение ^[10] утверждая, что для изменения значения информационного бита требуется не менее кТл ln(2) энергии. Это та же самая энергия, которую производит двигатель Лео Силарда в идеалистическом случае, что, в свою очередь, равно той же величине, найденной Ландауэром . В своей книге ^[11] он далее исследовал эту проблему и пришел к выводу, что любая причина изменения значения бита (измерение, решение вопроса «да/нет», стирание, отображение и т. д.) потребует одинакового количества kT энергии ln(2). Следовательно, получение информации о микросостояниях системы связано с производством энтропии , а стирание дает производство энтропии только при изменении значения бита. Введение небольшого количества информации в подсистему, изначально находящуюся в тепловом равновесии, приводит к локальному уменьшению энтропии. Однако, согласно Бриллюэну, нарушения второго закона термодинамики нет, поскольку уменьшение термодинамической энтропии любой локальной системы приводит к увеличению термодинамической энтропии в другом месте. Таким образом, Бриллюэн прояснил значение негэнтропии, которая считалась спорной, поскольку ее более раннее понимание может привести к эффективности Карно, превышающей единицу. Кроме того, связь между энергией и информацией, сформулированная Бриллюэном, была предложена как связь между количеством битов, которые обрабатывает мозг, и энергией, которую он потребляет: Коллель и Фоке ^[12] утверждал, что Де Кастро ^[13] аналитически нашел предел Ландауэра как термодинамическую нижнюю границу вычислений мозга. Однако, хотя предполагается, что эволюция «отобрала» наиболее энергетически эффективные процессы, физические нижние границы не являются реалистичными величинами в мозге. Во-первых, потому что минимальной вычислительной единицей, рассматриваемой в физике, является атом/молекула, что далеко от реального способа работы мозга; и, во-вторых, потому что нейронные сети включают в себя важные факторы избыточности и шума, которые значительно снижают их эффективность. ^[14] Лафлин и др. ^[15] был первым, кто указал точные величины энергетических затрат на обработку сенсорной информации. Результаты их исследований на мясных мухх показали, что для зрительно-сенсорных данных стоимость передачи одного бита информации составляет около 5 × 10. ⁻¹⁴ Джоули или, что эквивалентно 10 ⁴ Молекулы АТФ. Таким образом, эффективность нейронной обработки все еще далека от предела Ландауэра, равного kTln(2) J, но, как ни странно, она все же намного эффективнее современных компьютеров.

В 2009 году Махуликар и Хервиг переопределили термодинамическую негэнтропию как специфический дефицит энтропии динамически упорядоченной подсистемы по отношению к ее окружению. ^[16] Это определение позволило сформулировать принцип негэнтропии , который, как математически показано, следует из 2-го закона термодинамики во время существования порядка.

Квантовая теория

Хиршман показал, ^[17] ср. Неопределенность Хиршмана , что принцип неопределенности Гейзенберга может быть выражен как конкретная нижняя граница суммы классических энтропий распределения квантовых наблюдаемых распределений вероятностей квантово-механического состояния, квадрата волновой функции в координатном, а также импульсном пространстве. , выраженное в планковских единицах . Полученные неравенства обеспечивают более строгие ограничения на соотношения неопределенностей Гейзенберга.

Имеет смысл приписать « совместную энтропию », поскольку положения и импульсы являются квантово-сопряженными переменными и, следовательно, не подлежат совместному наблюдению. Математически их следует рассматривать как совместное распределение .Обратите внимание, что эта совместная энтропия не эквивалентна энтропии Фон Неймана , −Tr ρ ln ρ = −⟨ln ρ ⟩.Говорят, что энтропия Хиршмана объясняет полное информационное содержание смеси квантовых состояний . ^[18]

(Неудовлетворенность энтропией фон Неймана с точки зрения квантовой информации была выражена Стотландом, Померанским, Бахматом и Коэном, которые ввели еще одно определение энтропии, отражающее присущую квантовомеханическим состояниям неопределенность. Это определение позволяет различать энтропию фон Неймана с точки зрения квантовой информации. минимальная энтропия неопределенности чистых состояний и избыточная статистическая энтропия смесей. ^[19])

См. также

Ссылки

^ Шнайдер, Т.Д., Букварь по теории информации с приложением по логарифмам , Национальный институт рака, 14 апреля 2007 г.
^ Гао, Сян; Галликкио, Эмилио; Ройтберг, Адриан (2019). «Обобщенное распределение Больцмана — единственное распределение, в котором энтропия Гиббса-Шеннона равна термодинамической энтропии». Журнал химической физики . 151 (3): 034113. arXiv : 1903.02121 . Бибкод : 2019JChPh.151c4113G . дои : 10.1063/1.5111333 . ПМИД 31325924 . S2CID 118981017 .
^ Гао, Сян (март 2022 г.). «Математика теории ансамбля» . Результаты по физике . 34 : 105230. arXiv : 2006.00485 . Бибкод : 2022ResPh..3405230G . дои : 10.1016/j.rinp.2022.105230 . S2CID 221978379 .
^ Антуан Берю; Артак Аракелян; Артём Петросян; Серджио Килиберто; Рауль Дилленшнайдер; Эрик Лутц (8 марта 2012 г.), «Экспериментальная проверка принципа Ландауэра, связывающего информацию и термодинамику» (PDF) , Nature , 483 (7388): 187–190, Бибкод : 2012Natur.483..187B , doi : 10.1038/nature10872 , PMID 22398556 , S2CID 9415026
^ Сцилард, Лео (1929). «О уменьшении энтропии в термодинамической системе при вмешательстве разумных существ». Журнал физики (на немецком языке). 53 (11–12): 840–856. Бибкод : 1929ZPhy...53..840S . дои : 10.1007/BF01341281 . ISSN 0044-3328 . S2CID 122038206 . Доступно онлайн на английском языке на сайте Aurellen.org .
^ Шоичи Тоябе; Такахиро Сагава; Масахито Уэда; Эйро Мунеюки; Масаки Сано (29 сентября 2010 г.). «Информационная тепловая машина: преобразование информации в энергию посредством управления с обратной связью». Физика природы . 6 (12): 988–992. arXiv : 1009.5287 . Бибкод : 2010НатФ...6..988Т . дои : 10.1038/nphys1821 . S2CID 118444713 . Мы продемонстрировали, что свободная энергия получается путем управления с обратной связью с использованием информации о системе; информация преобразуется в свободную энергию, что является первой реализацией демона Максвелла типа Сциларда.
^ Карнани, М.; Пяякконен, К.; Аннила, А. (2009). «Физический характер информации» . Учеб. Р. Сок. А. 465 (2107): 2155–75. Бибкод : 2009RSPSA.465.2155K . дои : 10.1098/rspa.2009.0063 .
^ Сагава, Такахиро; Уэда, Масахито (26 февраля 2008 г.). «Второй закон термодинамики с дискретным управлением с квантовой обратной связью» . Письма о физических отзывах . 100 (8): 080403. arXiv : 0710.0956 . doi : 10.1103/PhysRevLett.100.080403 . ISSN 0031-9007 .
^ Цао, Ф.Дж.; Фейто, М. (10 апреля 2009 г.). «Термодинамика систем, управляемых с обратной связью» . Физический обзор E . 79 (4): 041118. arXiv : 0805.4824 . дои : 10.1103/PhysRevE.79.041118 . ISSN 1539-3755 .
^ Бриллюэн, Леон (1953). «Принцип негэнтропии информации». Журнал прикладной физики . 24 (9): 1152–1163. Бибкод : 1953JAP....24.1152B . дои : 10.1063/1.1721463 .
^ Леон Бриллюэн, Теория науки и информации , Дувр, 1956 г.
^ Коллелл, Дж; Фоке, Ж. (июнь 2015 г.). «Мозговая деятельность и познание: связь термодинамики и теории информации» . Границы в психологии . 6 (4): 818. doi : 10.3389/fpsyg.2015.00818 . ПМЦ 4468356 . ПМИД 26136709 .
^ Де Кастро, А. (ноябрь 2013 г.). «Термодинамическая цена быстрого мышления». Разум и машины . 23 (4): 473–487. arXiv : 1201.5841 . дои : 10.1007/s11023-013-9302-x . S2CID 11180644 .
^ Нарайанан, Н.С. и др. (2005). «Избыточность и синергия нейрональных ансамблей моторной коры» . Дж. Нейроски . 25 (17): 4207–4216. doi : 10.1523/JNEUROSCI.4697-04.2005 . ПМК 6725112 . ПМИД 15858046 .
^ Лафлин, С.Б. и др. (ноябрь 2013 г.). «Метаболическая стоимость нейронной информации». Нат. Нейроски . 1 (1): 36–41. дои : 10.1038/236 . ПМИД 10195106 . S2CID 204995437 .
^ Махуликар, СП; Хервиг, Х. (август 2009 г.). «Точные термодинамические принципы существования динамического порядка и эволюции в хаосе». Хаос, солитоны и фракталы . 41 (4): 1939–48. Бибкод : 2009CSF....41.1939M . дои : 10.1016/j.chaos.2008.07.051 .
^ Хиршман II младший (январь 1957 г.). «Заметка об энтропии». Американский журнал математики . 79 (1): 152–6. дои : 10.2307/2372390 . JSTOR 2372390 .
^ Захос, СК (2007). «Классическая граница квантовой энтропии». Физический журнал A: Математический и теоретический . 40 (21): Ф407–Ф412. arXiv : hep-th/0609148 . Бибкод : 2007JPhA...40..407Z . дои : 10.1088/1751-8113/40/21/F02 . S2CID 1619604 .
^ Александр Стотланд; Померанский; Эйтан Бахмат; Дорон Коэн (2004). «Информационная энтропия квантовомеханических состояний». Письма по еврофизике . 67 (5): 700–6. arXiv : Quant-ph/0401021 . Бибкод : 2004EL.....67..700S . CiteSeerX 10.1.1.252.8715 . дои : 10.1209/epl/i2004-10110-1 . S2CID 51730529 .

Дальнейшее чтение

Беннетт, Швейцария (1973). «Логическая обратимость вычислений» . IBM J. Res. Дев . 17 (6): 525–532. дои : 10.1147/rd.176.0525 .
Бриллюэн, Леон (2004), Наука и теория информации (второе изд.), Дувр, ISBN 978-0-486-43918-1 . [Публикация оригинала 1962 года.]
Фрэнк, Майкл П. (май – июнь 2002 г.). «Физические пределы вычислений» . Вычисления в науке и технике . 4 (3): 16–25. Бибкод : 2002CSE.....4c..16F . CiteSeerX 10.1.1.429.1618 . дои : 10.1109/5992.998637 . ОСТИ 1373456 . S2CID 499628 .
Гревен, Андреас; Келлер, Герхард; Варнеке, Джеральд, ред. (2003). Энтропия . Издательство Принстонского университета. ISBN 978-0-691-11338-8 . (Весьма технический сборник работ, дающий обзор концепции энтропии в том виде, в каком она проявляется в различных дисциплинах.)
Калинин, М.И.; Кононогов С.А. (2005), «Постоянная Больцмана, энергетический смысл температуры и термодинамическая необратимость», Measurement Techniques , 48 (7): 632–636, doi : 10.1007/s11018-005-0195-9 , S2CID 118726162 .
Куцояннис, Д. (2011), «Динамика Херста – Колмогорова как результат экстремального производства энтропии», Physica A , 390 (8): 1424–1432, Bibcode : 2011PhyA..390.1424K , doi : 10.1016/j.physa. 2010.12.035 .
Ландауэр, Р. (1993). «Информация физическая» . Учеб. Практикум по физике и вычислениям PhysComp'92 . Лос Аламитос: IEEE Comp. Науч.Пресс. стр. 1–4. дои : 10.1109/PHYCMP.1992.615478 . ISBN 978-0-8186-3420-8 . S2CID 60640035 .
Ландауэр, Р. (1961). «Необратимость и тепловыделение в вычислительном процессе» . IBM J. Res. Дев . 5 (3): 183–191. дои : 10.1147/рд.53.0183 .
Лефф, ХС; Рекс, А.Ф., ред. (1990). Демон Максвелла: энтропия, информация, вычисления . Принстон, штат Нью-Джерси: Издательство Принстонского университета. ISBN 978-0-691-08727-6 .
Миддлтон, Д. (1960). Введение в статистическую теорию связи . МакГроу-Хилл.
Шеннон, Клод Э. (июль – октябрь 1948 г.). «Математическая теория связи» . Технический журнал Bell System . 27 (3): 379–423. дои : 10.1002/j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz/101429 . ( в формате PDF )

Внешние ссылки

Обработка информации и термодинамическая энтропия Стэнфордская философская энциклопедия.
Интуитивное руководство по понятию энтропии, возникающему в различных секторах науки — викибук, посвященный интерпретации понятия энтропии.

[1] Шнайдер, Т.Д., Букварь по теории информации с приложением по логарифмам , Национальный институт рака, 14 апреля 2007 г.

[2] Гао, Сян; Галликкио, Эмилио; Ройтберг, Адриан (2019). «Обобщенное распределение Больцмана — единственное распределение, в котором энтропия Гиббса-Шеннона равна термодинамической энтропии». Журнал химической физики . 151 (3): 034113. arXiv : 1903.02121 . Бибкод : 2019JChPh.151c4113G . дои : 10.1063/1.5111333 . ПМИД 31325924 . S2CID 118981017 .

[Gao2022-3] Гао, Сян (март 2022 г.). «Математика теории ансамбля» . Результаты по физике . 34 : 105230. arXiv : 2006.00485 . Бибкод : 2022ResPh..3405230G . дои : 10.1016/j.rinp.2022.105230 . S2CID 221978379 .

[berut-4] Антуан Берю; Артак Аракелян; Артём Петросян; Серджио Килиберто; Рауль Дилленшнайдер; Эрик Лутц (8 марта 2012 г.), «Экспериментальная проверка принципа Ландауэра, связывающего информацию и термодинамику» (PDF) , Nature , 483 (7388): 187–190, Бибкод : 2012Natur.483..187B , doi : 10.1038/nature10872 , PMID 22398556 , S2CID 9415026

[5] Сцилард, Лео (1929). «О уменьшении энтропии в термодинамической системе при вмешательстве разумных существ». Журнал физики (на немецком языке). 53 (11–12): 840–856. Бибкод : 1929ZPhy...53..840S . дои : 10.1007/BF01341281 . ISSN 0044-3328 . S2CID 122038206 . Доступно онлайн на английском языке на сайте Aurellen.org .

[6] Шоичи Тоябе; Такахиро Сагава; Масахито Уэда; Эйро Мунеюки; Масаки Сано (29 сентября 2010 г.). «Информационная тепловая машина: преобразование информации в энергию посредством управления с обратной связью». Физика природы . 6 (12): 988–992. arXiv : 1009.5287 . Бибкод : 2010НатФ...6..988Т . дои : 10.1038/nphys1821 . S2CID 118444713 . Мы продемонстрировали, что свободная энергия получается путем управления с обратной связью с использованием информации о системе; информация преобразуется в свободную энергию, что является первой реализацией демона Максвелла типа Сциларда.

[7] Карнани, М.; Пяякконен, К.; Аннила, А. (2009). «Физический характер информации» . Учеб. Р. Сок. А. 465 (2107): 2155–75. Бибкод : 2009RSPSA.465.2155K . дои : 10.1098/rspa.2009.0063 .

[8] Сагава, Такахиро; Уэда, Масахито (26 февраля 2008 г.). «Второй закон термодинамики с дискретным управлением с квантовой обратной связью» . Письма о физических отзывах . 100 (8): 080403. arXiv : 0710.0956 . doi : 10.1103/PhysRevLett.100.080403 . ISSN 0031-9007 .

[9] Цао, Ф.Дж.; Фейто, М. (10 апреля 2009 г.). «Термодинамика систем, управляемых с обратной связью» . Физический обзор E . 79 (4): 041118. arXiv : 0805.4824 . дои : 10.1103/PhysRevE.79.041118 . ISSN 1539-3755 .

[10] Бриллюэн, Леон (1953). «Принцип негэнтропии информации». Журнал прикладной физики . 24 (9): 1152–1163. Бибкод : 1953JAP....24.1152B . дои : 10.1063/1.1721463 .

[11] Леон Бриллюэн, Теория науки и информации , Дувр, 1956 г.

[12] Коллелл, Дж; Фоке, Ж. (июнь 2015 г.). «Мозговая деятельность и познание: связь термодинамики и теории информации» . Границы в психологии . 6 (4): 818. doi : 10.3389/fpsyg.2015.00818 . ПМЦ 4468356 . ПМИД 26136709 .

[13] Де Кастро, А. (ноябрь 2013 г.). «Термодинамическая цена быстрого мышления». Разум и машины . 23 (4): 473–487. arXiv : 1201.5841 . дои : 10.1007/s11023-013-9302-x . S2CID 11180644 .

[14] Нарайанан, Н.С. и др. (2005). «Избыточность и синергия нейрональных ансамблей моторной коры» . Дж. Нейроски . 25 (17): 4207–4216. doi : 10.1523/JNEUROSCI.4697-04.2005 . ПМК 6725112 . ПМИД 15858046 .

[15] Лафлин, С.Б. и др. (ноябрь 2013 г.). «Метаболическая стоимость нейронной информации». Нат. Нейроски . 1 (1): 36–41. дои : 10.1038/236 . ПМИД 10195106 . S2CID 204995437 .

[16] Махуликар, СП; Хервиг, Х. (август 2009 г.). «Точные термодинамические принципы существования динамического порядка и эволюции в хаосе». Хаос, солитоны и фракталы . 41 (4): 1939–48. Бибкод : 2009CSF....41.1939M . дои : 10.1016/j.chaos.2008.07.051 .

[Hirschman-17] Хиршман II младший (январь 1957 г.). «Заметка об энтропии». Американский журнал математики . 79 (1): 152–6. дои : 10.2307/2372390 . JSTOR 2372390 .

[18] Захос, СК (2007). «Классическая граница квантовой энтропии». Физический журнал A: Математический и теоретический . 40 (21): Ф407–Ф412. arXiv : hep-th/0609148 . Бибкод : 2007JPhA...40..407Z . дои : 10.1088/1751-8113/40/21/F02 . S2CID 1619604 .

[19] Александр Стотланд; Померанский; Эйтан Бахмат; Дорон Коэн (2004). «Информационная энтропия квантовомеханических состояний». Письма по еврофизике . 67 (5): 700–6. arXiv : Quant-ph/0401021 . Бибкод : 2004EL.....67..700S . CiteSeerX 10.1.1.252.8715 . дои : 10.1209/epl/i2004-10110-1 . S2CID 51730529 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]