Вероятности и неприятности. Математика повседневной жизни

Постигаем Дао энтропии

Осталось разобраться с равновесностью итогового состояния рынка. Термодинамическое равновесие можно описать разными способами. Во-первых, равновесным должно быть стационарное состояние, в котором система может находиться неограниченно долго, не изменяя своих макроскопических параметров и не образуя внутри себя упорядоченных потоков вещества и энергии. Во-вторых, такое состояние должно быть устойчивым: если вывести систему из него, она будет стремиться к нему вернуться. В-третьих, оно соответствует наиболее вероятному состоянию системы из всех возможных. Оно чаще наблюдается, и система со временем будет стремиться попасть в устойчивое равновесие из любого другого состояния.

Наш эксперимент демонстрирует все эти критерии равновесности: придя к экспоненциальному распределению, система в нем и остается. К тому же в эксперименте легко убедиться, что из любого произвольного распределения мы по истечении какого-то времени снова придем к экспоненциальному. Но это еще не доказательство, а только намек, что мы, скорее всего, имеем дело с равновесием. Нужен формальный измеримый критерий, который однозначно укажет нам, что система равновесна, без необходимости ждать бесконечно долго или перебирать все возможные первоначальные распределения. Это был бы полезный критерий, который допустимо применять и к реальному рынку — без необходимости проводить рискованные эксперименты на живых людях.

Размышления о равновесии привели физиков к одному фундаментальному понятию, о котором слышали, наверное, все, но объяснить и тем более с толком использовать способны немногие, — энтропии. Она постепенно вышла за пределы термодинамики и так понравилась ученым всех направлений, философам и даже широкой публике, что это сугубо термодинамическое понятие получило нынче ореол загадочности, непостижимости и бог знает еще чего. Простое и специальное, в сущности, понятие приобрело в сознании широких масс репутацию необъяснимо управляющей миром концепции. Это связано с тем, что термодинамика описывает на очень высоком уровне абстракции системы самой разной природы: от физических, химических и биологических до социальных, экономических и даже чисто гуманитарных. После школьного курса, правда, остается ощущение, что термодинамика — это про скучный идеальный газ, какие-то поршни и невозможный цикл Карно. Такое однобокое представление связано с тем, что термодинамика, будучи одним из самых абстрактных и универсальных разделов естествознания, элегантно решает прикладные задачи, которые могут быть поняты школьниками и при этом оказаться полезными в промышленности. Этого не скажешь, например, о теории категорий или топологии — тоже весьма абстрактных, универсальных и, несомненно, полезных дисциплинах, но в повседневных задачах почти не встречающихся.

Итак, на сцену выходит энтропия. Создателю термодинамики Рудольфу Клаузиусу (1822–1888), а позже физикам Джозайе Гиббсу (1839–1903) и Людвигу Больцману (1844–1906) потребовалась количественная характеристика равновесности, которая говорила бы о вероятности наблюдать указанное состояние системы или ее частей. Причем эта величина, которая отражает вероятность, мультипликативную для ансамбля, должна быть аддитивной функцией состояния, чтобы можно было вычислить ее для системы, складывая установленные значения ее частей. Когда мы искали подходящую функцию для распределения Гиббса, мы исходили из того, что она должна превращать аддитивный аргумент в мультипликативное значение. При поиске выражения для энтропии мы нуждаемся в функции, мультипликативной по аргументу и аддитивной по значению:

Это функциональное уравнение решает логарифмическая функция, обратная показательной. Энтропия состояния сложной системы может быть выражена как ожидаемое значение для логарифма вероятности наблюдения состояния всех ее частей, или, по Больцману, как логарифм числа способов, которыми можно реализовать это состояние системы. При этом более вероятному состоянию соответствует большее значение энтропии, а равновесному — максимальное из возможных.

Число способов, которыми можно реализовать то или иное состояние, зависит от числа ограничений или условий, при которых это состояние может реализоваться. Чем их меньше, тем более вероятно состояние и тем выше значение его энтропии. Эти ограничения и условия имеют смысл информации о состоянии. Отсюда возникла идея о том, что энтропия отражает степень нашего незнания о системе: чем меньше нам о состоянии известно, тем больше его энтропия. Позже Клод Элвуд Шеннон (1916–2001) обобщил это понятие для любых систем, содержащих в себе информацию, в том числе распределений случайных величин. Вот что у него получилось. Для случайной величины X, определяемой функцией вероятности p(x), энтропия определяется следующим образом:

где суммирование производится по всем значениям x, в которых p(x)>0. Таким образом, мы имеем возможность вычислить энтропию состояния любой сложной системы, располагая ее статистическим описанием.

Каждому распределению случайной величины — неважно, задаваемому аналитически или полученному экспериментально в виде гистограммы — можно поставить в соответствие положительное число — его энтропию. Это, в свою очередь, задает метрику на пространстве распределений, давая нам возможность сравнивать их между собой, определяя более или менее равновесные и вероятные распределения для заданных условий. Более того, для некоторого класса распределений можно выделить одно с максимальной энтропией — и только одно. Классы определяются ограничениями, или мерой нашего знания о статистических свойствах системы. Приведем самые важные примеры распределений, имеющих наибольшую энтропию.

Знакомые всё лица! Это очень часто используемые распределения, которые статистики применяют к широчайшему классу задач. Их универсальность обусловлена именно тем, что они, имея максимальную энтропию, наиболее вероятны и наблюдаются чаще других. К ним, как к равновесным, стремятся многие распределения реальных случайных величин.

Наиболее свободно от ограничений нормальное распределение: оно требует минимума информации о случайной величине. Меньше уже не получится: если мы укажем лишь среднее значение, то при попытках увеличить энтропию распределение «размажется» по всей числовой оси. Зато если мы знаем лишь среднее, но при этом ограничим случайную величину положительными значениями, то равновесное распределение будет однозначным — экспоненциальным. Именно этот случай мы и наблюдали в нашем эксперименте с рынком. Нам заранее было известно лишь то, сколько денег мы выдали каждому игроку, и то, что их количество в системе неизменно. Эта информация фиксирует среднее значение. А поскольку количество денег у нас — величина положительная, то, вероятнее всего, в равновесии мы получим именно экспоненциальное распределение.

В численном эксперименте можно вычислять энтропию нашей системы по мере приближения модели рынка к равновесию. Пример такого графика приведен на рис. 9.7. Обратите внимание на то, что ось X логарифмическая. Благодаря этому мы сможем одинаково внятно увидеть как начальные этапы развития модели, так и ее поведение для очень большого числа обменов, и в то же время логарифмическая шкала позволяет четко выделить отдельные этапы эволюции модельной системы. Буквы здесь соответствуют распределениям, показанным на рис. 9.5.

Рис. 9.7. Рост энтропии, наблюдающийся по мере приближения рынка к равновесному состоянию. Горизонтальной линией на графике показано теоретическое значение энтропии для экспоненциального распределения

Начальное состояние (вырожденное, при котором все участники группы располагают равными суммами) имеет нулевую энтропию; о том, что это значит, мы скажем чуть позже. Первые десятки обменов до состояния (a) лишь немного ее увеличивают, распределение все равно остается близким к вырожденному. Но далее оно становится очень похожим на нормальное, начинается диффузионный процесс, сопровождающийся линейным ростом энтропии на нашем графике. Если вы заглянете в таблицу выше, то увидите, что энтропия нормального распределения пропорциональна логарифму от стандартного отклонения. Именно эту пропорциональность и показывает нам график энтропии в выбранном нами логарифмическом масштабе. Теперь мы можем интерпретировать появление здесь нормального распределения как наиболее вероятного для случайной величины, о которой мы знаем лишь ее среднее (оно остается неизменным) и дисперсию (она растет, как в процессе случайного блуждания). Наконец, в состоянии (c) система начинает «чувствовать» дно и симметричность распределения нарушается, после чего оно постепенно достигает равновесного.

Не знаю, как читателю, а мне показалось обидным, что изначально справедливое распределение после серии абсолютно симметричных и беспристрастных обменов само по себе приходит к несправедливости. Мы уже говорили, что коэффициент Джини для экспоненциального распределения в точности равен 1/2 и при таком распределении половина всех денег принадлежит богатейшим 20 % группы. С другой стороны, может порадовать то обстоятельство, что эта несправедливость возникает не вследствие греховной человеческой натуры, а из-за натуры больших ансамблей взаимодействующих частиц.

Наша модель предельно проста. Существует множество ее модификаций: передаваемая сумма Δm может быть не фиксированной, а случайной величиной, ограниченной состоянием участника; при этом можно не давать деньги какому-то одному игроку, а распределять случайным образом. Пока мы не вводим новых параметров, все эти модификации не меняют форму равновесного распределения богатства — оно остается экспоненциальным. Многие исследователи отмечали эту особенность моделей рынка. В устойчивости решения можно убедиться с помощью имитационного моделирования, но приводить картинки для различных способов обмена неинтересно — все они будут одинаковыми. Любопытна модель, построенная Адрианом Драгулеску и Виктором Яковенко из Мэрилендского университета[41]. В ней игроков объединяют в некие «компании», а далее имитируется взаимодействие компаний с игроками-работниками и игроками-покупателями. Но и в этом, уже достаточно сложном случае равновесным оказывается экспоненциальное распределение, безразличное к выбираемым параметрам модели.

Загадочная и могущественная энтропия — это, конечно, солидно и, возможно, даже убедительно. Но почему же при симметричном обмене бедных становится больше, чем богатых? Почему мода равновесного распределения равна нулю? Надо, как говорят физики, разобраться в кинетике процесса, в судьбе отдельных частиц.

Мы не ошиблись, предположив, что модель случайного блуждания описывает изменение состояния отдельного участника торгов: он с равной вероятностью совершает шаги как вверх, так и вниз. Мы уже говорили о том, что случайно блуждающая частица обязательно окажется в любом наперед указанном месте. При этом ожидаемое расстояние, на которое частица удалится от какой-либо начальной точки, оказывается пропорционально квадратному корню от числа шагов. Все это приводит к тому, что если частица начинает свой путь вблизи нуля, то она с высокой вероятностью его достигнет, а поскольку ноль в нашей задаче — непроницаемая граница, она будет вынуждена вновь и вновь начинать свой путь около нулевой точки, с большой вероятностью быстро к ней возвращаясь. По мере удаления частицы от нуля вероятность к нему вернуться уменьшается и у богатых становится больше шансов сберечь свое состояние.