Термодинамика максимальной энтропии

В физике термодинамика максимальной энтропии (в просторечии MaxEnt термодинамика ) рассматривает равновесную термодинамику и статистическую механику как процессы вывода . В частности, MaxEnt применяет методы вывода, основанные на теории информации Шеннона , байесовской вероятности и принципе максимальной энтропии . Эти методы применимы к любой ситуации, требующей прогнозирования на основе неполных или недостаточных данных (например, реконструкция изображения , обработка сигналов , спектральный анализ и обратные задачи ). Термодинамика MaxEnt началась с двух статей Эдвина Т. Джейнса, опубликованных в журнале Physical Review 1957 года .

Шеннона

Центральным в тезисе MaxEnt является принцип максимальной энтропии . Он требует наличия некоторой частично определенной модели и некоторых определенных данных, связанных с моделью. Он выбирает предпочтительное распределение вероятностей для представления модели. Данные представляют собой «проверяемую информацию». о распределении вероятностей , например, о конкретных значениях ожидания , но сами по себе недостаточны для его однозначного определения. Принцип гласит, что следует отдавать предпочтение распределению, которое максимизирует информационную энтропию Шеннона :

$S_{\text{I}}=-\sum _{i}p_{i}\ln p_{i}.$

Это известно как алгоритм Гиббса , который был введен Дж. Уиллардом Гиббсом в 1878 году для создания статистических ансамблей для прогнозирования свойств термодинамических систем в равновесии. Это краеугольный камень статистического механического анализа термодинамических свойств равновесных систем (см. Статистическая сумма ).

Таким образом, устанавливается прямая связь между равновесной термодинамической энтропией S _Th , функцией состояния давления, объема, температуры и т. д., и информационной энтропией для предсказанного распределения с максимальной неопределенностью, обусловленной только средними значениями этих переменных:

$S_{\text{Th}}(P,V,T,\ldots )_{\text{(eqm)}}=k_{\text{B}}\,S_{\text{I}}(P,V,T,\ldots )$

k _B , постоянная Больцмана , не имеет здесь фундаментального физического значения, но необходима для сохранения согласованности с предыдущим историческим определением энтропии Клаузиусом ( 1865) (см. постоянную Больцмана ).

Однако школа MaxEnt утверждает, что подход MaxEnt представляет собой общую технику статистического вывода, имеющую далеко выходящие за рамки применения. Следовательно, его также можно использовать для прогнозирования распределения «траекторий» Γ «за период времени» путем максимизации:

$S_{\text{I}}=-\sum p_{\Gamma }\ln p_{\Gamma }$

Эта «информационная энтропия» не обязательно имеет простое соответствие с термодинамической энтропией. Но его можно использовать для прогнозирования особенностей неравновесных термодинамических систем по мере их развития с течением времени.

Для неравновесных сценариев, в приближении, предполагающем локальное термодинамическое равновесие , с подходом максимальной энтропии, отношения взаимности Онзагера и отношения Грина-Кубо выпадают напрямую. Этот подход также создает теоретическую основу для изучения некоторых очень особых случаев сценариев, далеких от равновесия, что делает вывод теоремы о флуктуациях производства энтропии простым. Для неравновесных процессов, как и для макроскопических описаний, также отсутствует общее определение энтропии для микроскопических статистических механических расчетов.

Техническое примечание : По причинам, обсуждаемым в статье «дифференциальная энтропия» , простое определение энтропии Шеннона перестает быть непосредственно применимым для случайных величин с непрерывными функциями распределения вероятностей . Вместо этого подходящей величиной для максимизации является «относительная информационная энтропия».

$H_{\text{c}}=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.$

H _c — это отрицательная величина расхождения Кульбака-Лейблера или информации о различении m ( x ) от p ( x ), где m ( x ) — априорная инвариантная мера для переменной (переменных). Относительная энтропия H _c всегда меньше нуля, и ее можно рассматривать как (отрицательное значение) количества битов неопределенности, потерянных из-за фиксации на p ( x ), а не m ( x ). В отличие от энтропии Шеннона, относительная энтропия H _c имеет то преимущество, что остается конечной и четко определенной для непрерывного x и инвариантной относительно преобразований координат 1 к 1. Два выражения совпадают для дискретных распределений вероятностей , если можно сделать предположение, что m ( x _i ) однородно – т.е. принцип равной априорной вероятности , лежащий в основе статистической термодинамики.

последствия

Приверженцы точки зрения MaxEnt занимают четкую позицию по некоторым концептуальным/философским вопросам термодинамики. Эта позиция схематически изображена ниже.

Природа вероятностей в статистической механике

Джейнс (1985, 2003, et passim ) обсуждали концепцию вероятности. Согласно точке зрения MaxEnt, вероятности в статистической механике определяются совместно двумя факторами: соответственно заданными конкретными моделями основного пространства состояний (например, фазового пространства Лиувилля ); и соответственно заданными частными частичными описаниями системы (макроскопическое описание системы, используемое для ограничения назначения вероятности MaxEnt). Вероятности объективны в том смысле, что с учетом этих входных данных получится однозначно определенное распределение вероятностей, одинаковое для каждого рационального исследователя, независимое от субъективности или произвольного мнения конкретных людей. Вероятности эпистемичны в том смысле, что они определяются в терминах конкретных данных и выводятся из этих данных по определенным и объективным правилам вывода, одинаковым для каждого рационального исследователя. Здесь слово эпистемическое, обозначающее объективное и безличное научное знание, одинаковое для каждого рационального исследователя, употребляется в том смысле, который противопоставляет его опиативному, которое относится к субъективным или произвольным убеждениям отдельных лиц; этот контраст использовался Платоном и Аристотелем и остается надежным и сегодня.

Джейнс также использовал слово «субъективный» в этом контексте, потому что другие использовали его в этом контексте. Он признал, что в некотором смысле состояние знания имеет субъективный аспект просто потому, что оно относится к мышлению, которое является психическим процессом. Но он подчеркивал, что принцип максимальной энтропии относится только к мышлению, которое рационально и объективно, независимо от личности мыслителя. В общем, с философской точки зрения слова «субъективный» и «объективный» не противоречат друг другу; часто сущность имеет как субъективные, так и объективные аспекты. Джейнс открыто отверг критику некоторых авторов о том, что, поскольку можно сказать, что мысль имеет субъективный аспект, мысль автоматически необъективна. Он явно отверг субъективность как основу научного рассуждения, эпистемологии науки; он требовал, чтобы научные рассуждения имели полностью и строго объективную основу. Тем не менее критики продолжают нападать на Джейнса, утверждая, что его идеи «субъективны». Один писатель даже зашел так далеко, что назвал подход Джейнса «ультрасубъективистским». и упомянуть «панику, которую термин субъективизм вызвал среди физиков».

Вероятности представляют собой как степень знания, так и недостаток информации в данных и модели, используемой аналитиком при макроскопическом описании системы, а также то, что эти данные говорят о природе лежащей в основе реальности.

Соответствие вероятностей зависит от того, являются ли ограничения указанной макроскопической модели достаточно точным и/или полным описанием системы, чтобы охватить все экспериментально воспроизводимое поведение. Это не может быть гарантировано априори . По этой причине сторонники MaxEnt также называют этот метод предсказательной статистической механикой . Прогнозы могут не оправдаться. Но если они это сделают, это информативно, поскольку сигнализирует о наличии новых ограничений, необходимых для фиксации воспроизводимого поведения в системе, которые не были приняты во внимание.

Энтропия «реальна»?

Термодинамическая энтропия (в состоянии равновесия) является функцией переменных состояния описания модели. Следовательно, она так же «реальна», как и другие переменные в описании модели. Если ограничения модели при назначении вероятности представляют собой «хорошее» описание, содержащее всю информацию, необходимую для прогнозирования воспроизводимых экспериментальных результатов, то это включает в себя все результаты, которые можно предсказать, используя формулы, включающие энтропию из классической термодинамики. В этом смысле MaxEnt S _Th столь же «реален», как и энтропия в классической термодинамике.

Конечно, в действительности существует только одно реальное состояние системы. Энтропия не является прямой функцией этого состояния. Оно является функцией реального состояния только через (субъективно выбранное) описание макроскопической модели.

Актуальна ли эргодическая теория?

Гиббсианский ансамбль идеализирует идею повторения эксперимента снова и снова на разных системах, а не снова и снова на одной и той же системе. Таким образом, долгосрочные средние по времени и эргодическая гипотеза , несмотря на интенсивный интерес к ним в первой половине двадцатого века, строго говоря, не имеют отношения к определению вероятности состояния, в котором может находиться система.

Однако ситуация меняется, если за некоторое время до измерения имеется дополнительная информация о том, что система готовится определенным образом. Затем необходимо рассмотреть, дает ли это дополнительную информацию, которая все еще актуальна на момент измерения. Тогда вопрос о том, насколько быстро смешиваются различные свойства системы, становится очень интересным. Информация о некоторых степенях свободы объединенной системы может очень быстро прийти в негодность; информация о других свойствах системы может оставаться актуальной в течение значительного времени.

По крайней мере, среднесрочные и долгосрочные корреляционные свойства системы сами по себе являются интересным предметом для экспериментов. Неспособность точно предсказать их является хорошим индикатором того, что в модели может отсутствовать соответствующая макроскопически определимая физика.

Второй закон

Согласно теореме Лиувилля для гамильтоновой динамики , гиперобъем облака точек в фазовом пространстве остается постоянным по мере развития системы. Следовательно, информационная энтропия также должна оставаться постоянной, если мы будем исходить из исходной информации, а затем следовать за каждым из этих микросостояний вперед во времени:

$\Delta S_{\text{I}}=0\,$

Однако с течением времени та первоначальная информация, которая у нас была, становится менее доступной напрямую. Вместо того, чтобы легко суммироваться в макроскопическом описании системы, оно все больше связано с очень тонкими корреляциями между положениями и импульсами отдельных молекул. Больцмана (Сравните с H-теоремой .) Эквивалентно, это означает, что распределение вероятностей для всей системы в 6N-мерном фазовом пространстве становится все более нерегулярным, распространяясь на длинные тонкие пальцы, а не на первоначальный четко определенный объем возможностей.

Классическая термодинамика построена на предположении, что энтропия является функцией состояния макроскопических переменных , то есть что никакая история системы не имеет значения, так что ее можно игнорировать.

Расширенное, тонкое, развитое распределение вероятностей, которое все еще имеет начальную энтропию Шеннона S _Th. ⁽¹⁾ , должен воспроизводить ожидаемые значения наблюдаемых макроскопических переменных в момент времени t ₂ . Однако это больше не обязательно будет максимальное распределение энтропии для этого нового макроскопического описания. С другой стороны, новая термодинамическая энтропия S _Th ⁽²⁾ наверняка будет измерять максимальное распределение энтропии по своей конструкции. Поэтому мы ожидаем:

${S_{\text{Th}}}^{(2)}\geq {S_{\text{Th}}}^{(1)}$

На абстрактном уровне этот результат означает, что некоторая информация о системе, которую мы изначально имели, стала «бесполезной» на макроскопическом уровне. На уровне 6 N -мерного распределения вероятностей этот результат представляет собой грубую зернистость , то есть потерю информации из-за сглаживания очень мелких деталей.

Предостережения относительно аргумента

В связи с вышеизложенным следует учитывать некоторые предостережения.

1. Как и все статистические механические результаты согласно школе MaxEnt, это увеличение термодинамической энтропии является лишь предсказанием . В частности, предполагается, что первоначальное макроскопическое описание содержит всю информацию, необходимую для предсказания последующего макроскопического состояния. Это может быть не так, например, если первоначальное описание не отражает какой-либо аспект подготовки системы, который впоследствии становится актуальным. В этом случае «неудача» предсказания MaxEnt говорит нам о том, что есть нечто большее, что мы, возможно, упустили из виду в физике системы.

Также иногда предполагается, что квантовое измерение , особенно в интерпретации декогеренции , может дать явно неожиданное уменьшение энтропии согласно этому аргументу, поскольку оно, по-видимому, предполагает появление макроскопической информации, которая ранее была недоступна. (Однако учет энтропии при квантовых измерениях сложен, потому что для достижения полной декогеренции можно предположить бесконечную среду с бесконечной энтропией).

замалчивался 2. В споре до сих пор вопрос о флуктуациях . Также неявно предполагается, что неопределенность, предсказанная в момент времени t ₁ для переменных в момент времени t _2, будет намного меньше, чем ошибка измерения. Но если измерения существенно обновляют наши знания о системе, наша неопределенность относительно ее состояния уменьшается, что дает новый S _I ⁽²⁾ что меньше ​ S _I ⁽¹⁾ . (Обратите внимание, что если мы позволим себе способности демона Лапласа , последствия этой новой информации также могут быть отображены в обратном направлении, поэтому наша неопределенность относительно динамического состояния в момент времени t ₁ теперь также уменьшается с S _I ⁽¹⁾ что С _я ⁽²⁾ ).

Мы знаем, что S _Th ⁽²⁾ > С _Я ⁽²⁾ ; но теперь мы уже не можем быть уверены, что оно больше, чем S _Th ⁽¹⁾ = С _Я ⁽¹⁾ . Тогда это оставляет открытой возможность флуктуаций S _Th . Термодинамическая энтропия может идти как вверх, так и вниз. Более сложный анализ дается Теоремой о флуктуации энтропии , которая может быть установлена ​​как следствие зависящей от времени картины MaxEnt.

3. Как только что было указано, вывод MaxEnt одинаково хорошо работает и в обратном порядке. Итак, учитывая конкретное конечное состояние, мы можем спросить, что мы можем «ретродиктовать», чтобы улучшить наши знания о более ранних состояниях? Однако приведенный выше аргумент Второго закона также работает в обратном направлении: учитывая макроскопическую информацию в момент времени t ₂ , мы должны ожидать, что она тоже станет менее полезной. Эти две процедуры симметричны во времени. Но теперь информация будет становиться все менее и менее полезной в более ранние времена. (Сравните с парадоксом Лошмидта .) Вывод MaxEnt предсказывает, что наиболее вероятным источником текущего состояния с низкой энтропией будет спонтанное колебание из более раннего состояния с высокой энтропией. Но это противоречит тому, что, как мы знаем, произошло, а именно тому, что энтропия неуклонно росла даже в прошлом.

Сторонники MaxEnt ответили бы на это, что такая систематическая ошибка в предсказании вывода MaxEnt — это «хорошо». Это означает, что существует явное свидетельство того, что в описании проблемы была упущена некоторая важная физическая информация. Если правильно, что динамика «является» симметричной во времени , то, похоже, нам нужно вручную ввести априорную вероятность того, что начальные конфигурации с низкой термодинамической энтропией более вероятны, чем начальные конфигурации с высокой термодинамической энтропией. Это нельзя объяснить непосредственной динамикой. Вполне возможно, что оно возникает как отражение очевидной асимметричной во времени эволюции Вселенной в космологическом масштабе (см. стрела времени ).

Критика

Термодинамика максимальной энтропии имеет некоторые важные противоречия, отчасти из-за относительной скудности опубликованных результатов школы MaxEnt, особенно в отношении новых проверяемых предсказаний, далеких от равновесия.

Теория также подвергалась критике по причине внутренней непротиворечивости. Например, Раду Бэлеску резко критикует школу MaxEnt и работу Джейнса. Балеску утверждает, что теория Джейнса и его коллег основана на нетранзитивном законе эволюции, который дает неоднозначные результаты. Хотя некоторые трудности теории можно устранить, теория «не имеет прочной основы» и «не привела к какому-либо новому конкретному результату».

Хотя подход максимальной энтропии основан непосредственно на информационной энтропии, он применим к физике только тогда, когда существует четкое физическое определение энтропии. Не существует четкого уникального общего физического определения энтропии для неравновесных систем, которые представляют собой общие физические системы, рассматриваемые во время процесса, а не термодинамические системы в их собственных внутренних состояниях термодинамического равновесия. Отсюда следует, что подход максимальной энтропии не будет применим к неравновесным системам до тех пор, пока не будет найдено четкое физическое определение энтропии. Эта проблема связана с тем фактом, что тепло может передаваться от более горячей к более холодной физической системе, даже если локальное термодинамическое равновесие не соблюдается, так что ни одна из систем не имеет четко определенной температуры. Классическая энтропия определяется для системы, находящейся в ее собственном внутреннем состоянии термодинамического равновесия, которое определяется переменными состояния, без ненулевых потоков, так что переменные потока не появляются как переменные состояния. Но для сильно неравновесной системы во время процесса переменные состояния должны включать ненулевые переменные потока. Классические физические определения энтропии не охватывают этот случай, особенно когда потоки достаточно велики, чтобы разрушить локальное термодинамическое равновесие. Другими словами, для определения энтропии неравновесных систем в целом необходимо, по крайней мере, включить спецификацию процесса, включая ненулевые потоки, выходящие за рамки классических статических термодинамических переменных состояния. Максимизируемая «энтропия» должна быть определена соответствующим образом для рассматриваемой проблемы. Если несоответствующая «энтропия» максимизирована, вероятен неправильный результат. В принципе, термодинамика максимальной энтропии не относится в узком смысле и относится только к классической термодинамической энтропии. Речь идет об информационной энтропии в применении к физике, явно зависящей от данных, использованных для формулировки рассматриваемой задачи. По словам Аттарда, для физических проблем, анализируемых с помощью сильно неравновесной термодинамики, необходимо учитывать несколько физически различных видов энтропии, включая то, что он называет второй энтропией. Аттард пишет: «Максимизация второй энтропии по микросостояниям в данном начальном макросостоянии дает наиболее вероятное целевое макросостояние». Физически определенную вторую энтропию можно рассматривать и с информационной точки зрения.

См. также

• Эдвин Томпсон Джейнс
• Первый закон термодинамики
• Второй закон термодинамики
• Принцип максимальной энтропии
• Принцип минимальной дискриминационной информации
• Расхождение Кульбака – Лейблера
• Квантовая относительная энтропия
• Теория информации и теория меры
• Неравенство энтропийной мощности

Ссылки

Библиография цитируемых ссылок

• Балеску, Раду (1997). Статистическая динамика: Материя вышла из равновесия . Лондон: Издательство Имперского колледжа. Бибкод : 1997sdmo.book.....B .
• Джейнс, ET (сентябрь 1968 г.). «Априорные вероятности» (PDF) . Транзакции IEEE по системным наукам и кибернетике . ССК–4 (3): 227–241. дои : 10.1109/TSSC.1968.300117 .
• Гуттманн, Ю.М. (1999). Концепция вероятности в статистической физике , Издательство Кембриджского университета, Кембридж, Великобритания, ISBN   978-0-521-62128-1 .
• Джейнс, ET (1979). «Где мы находимся в отношении максимальной энтропии?» (PDF) . В Левине, Р.; Трибус М. (ред.). Формализм максимальной энтропии . МТИ Пресс. ISBN  978-0-262-12080-7 .
• Джейнс, ET (1985). «Некоторые случайные наблюдения». Синтезируйте . 63 : 115–138. дои : 10.1007/BF00485957 . S2CID   46975520 .
• Джейнс, ET (2003). Бретхорст, Г.Л. (ред.). Теория вероятностей: логика науки . Кембридж: Издательство Кембриджского университета. ISBN  978-0-521-59271-0 .
• Клейдон, Аксель; Лоренц, Ральф Д. (2005). Неравновесная термодинамика и производство энтропии: жизнь, земля и за ее пределами . Спрингер. стр. 42–. ISBN  978-3-540-22495-2 .

Дальнейшее чтение

• Байкова А.Т. (1992). «Обобщение метода максимальной энтропии для восстановления сложных функций». Астрономические и астрофизические труды . 1 (4): 313–320. Бибкод : 1992A&AT....1..313B . дои : 10.1080/10556799208230532 .
• Катича, Ариэль (2012). Энтропийный вывод и основы физики (PDF) .
• Дьюар, Р.К. (2003). «Теория информации, объяснение теоремы о флуктуациях, производстве максимального энтропии и самоорганизованной критичности в неравновесных стационарных состояниях». Дж. Физ. А: Математика. Ген . 36 (3): 631–41. arXiv : cond-mat/0005382 . Бибкод : 2003JPhA...36..631D . дои : 10.1088/0305-4470/36/3/303 . S2CID   44217479 .
• — (2005). «Максимальное производство энтропии и теорема о флуктуациях». Дж. Физ. А: Математика. Ген . 38 (21): L371–81. Бибкод : 2005JPhA...38L.371D . дои : 10.1088/0305-4470/38/21/L01 .
• Гринштейн, Г.; Линскер, Р. (2007). «Комментарии к выводу и применению принципа «максимального производства энтропии»» . Дж. Физ. А: Математика. Теор . 40 (31): 9717–20. Бибкод : 2007JPhA...40.9717G . дои : 10.1088/1751-8113/40/31/N01 . S2CID   123641741 . Показывает несостоятельность выводов Дьюара (а) о максимальном производстве энтропии (MaxEP) из флуктуационной теоремы для систем, далеких от равновесия, и (б) заявленной связи между MaxEP и самоорганизованной критичностью.
• Гранди, В.Т., 1987. Основы статистической механики. Том 1: Теория равновесия; Том. 2: Неравновесные явления . Дордрехт: Д. Рейдель. Том. 1 : ISBN   90-277-2489-X . Том. 2 : ISBN   90-277-2649-3 .
• — (2004). «Три статьи по неравновесной статистической механике» . Найденный. Физ . 34 (1): 21–57. arXiv : cond-mat/0303291 . Бибкод : 2004FoPh...34...21G . дои : 10.1023/B:FOOP.0000012008.36856.c1 . S2CID   18573684 .
• Галл, Сан-Франциско (1991). «Некоторые заблуждения об энтропии» . В Баке, Б.; Маколей, Вирджиния (ред.). Максимальная энтропия в действии . Издательство Оксфордского университета. ISBN  978-0-19-853963-6 .
• Джейнс 1979 г.
• Обширный архив дальнейших статей Э. Т. Джейнса по вероятности и физике. Многие собраны в Розенкранц, Р.Д., изд. (1983). Э. Т. Джейнс — Статьи по вероятности, статистике и статистической физике . Дордрехт, Нидерланды: Д. Рейдель. ISBN  978-90-277-1448-0 .
• Лоренц, Р. (2003). «Полный вперед — наверное» (PDF) . Наука . 299 (5608): 837–8. дои : 10.1126/science.1081280 . ПМИД   12574610 . S2CID   118583810 .
• Рау, Йохен (1998). «Статистическая механика в двух словах». arXiv : физика/9805024 .