Алексей Шилейко - Информация или интуиция?
ИНФОРМАЦИЯ И СЛУЧАЙ
Все только что сказанное снова приводит нас к обсуждению вопроса о количестве информации. Мы угадывали числа, и количество информации вроде бы зависело (во всяком случае, читатель мог прийти к такому заключению) от величины интервала, в пределах которого происходит угадывание. Всякий физический эксперимент также представляет собой своеобразное угадывание некоторого числа. Однако, как мы только что говорили, в процессе эксперимента получается лишь ответ «да» или «нет» на вопрос, заданный естествоиспытателем.Впервые мера количества информации была предложена американским инженером Р. Хартли в 1927 году. Он рассуждал так. Всякое поступающее к нам сообщение выбирается из некоторого конечного набора. Чем богаче такой набор, тем труднее угадать, какое именно сообщение будет получено. Следовательно, тем больше информации оно несет с собой. Значит, количество информации должно зависеть от количества сообщений в исходном наборе.Проще всего было бы приравнять количество информации полному количеству сообщений в исходном наборе. Но здесь существует одна трудность. Пусть имеются два набора, каждый из которых содержит, скажем, но десять сообщений. Можно представить себе сложное сообщение, составленное из двух — по одному из каждого набора. Всего их можно образовать сто штук. Вот и получается, что если принять за меру количества информации количество сообщений в исходном наборе, то каждое из них, взятое из первого набора, будет содержать десять единиц информации, взятое из второго набора, — тоже десять. А сложное сообщение, составленное из двух простых, будет содержать не двадцать, как естественнее всего было бы ожидать, а сто единиц информации.Чтобы избежать этой трудности, Р. Хартли предложил брать в качестве меры количества информации не количество сообщений в исходном наборе, а двоичный логарифм этого количества. Легко показать, что в этом случае количество информации, переносимое сложным сообщением, окажется в точности равным сумме количеств информации, содержащихся в составляющих его простых.Возвращаясь к нашему примеру с угадыванием чисел, подсчитаем, чему равно количество информации по Хартли, содержащейся в одном угаданном числе, взятом в интервале от нуля до тысячи. Исходный набор содержит здесь тысячу возможных сообщений. Двоичный логарифм тысячи примерно равен десяти. Следовательно, меры Хартли и Колмогорова в, этом случае совпадают.Главная заслуга Р. Хартли состоит в том, что, он впервые связал понятие о количестве информации с понятием многообразия (количество сообщений в исходном наборе)., Второе важное положение теории Хартли состоит в том, что процесс получения информации рассматривается как выбор одного элемента из некоторого множества. Если исходное множество содержит только один элемент, выбирать не из чего и количество информации равно нулю. Тут снова оправдывается использование логарифма, поскольку логарифм единицы всегда нуль.Наконец, важнейшее положение теории Хартли состоит в том, что количество информации в ней целиком определяется свойствами источника и никак не зависит от свойств получателя. В теории Хартли роль получателя информации совершенно пассивна. Он лишь воспринимает сообщения, которые кто-то (отправитель, автомат, природа) выбирает из наперед заданного набора. Наоборот, в теории Колмогорова получателю отводится основная, активная роль. Это он задает вопросы. Ясно, что количество вопросов, необходимое для угадывания, зависит от того, насколько удачно они поставлены.Однако возможен принципиально иной подход к решению вопроса о количестве информации. Если предложить какому-либо человеку (при этом он не должен быть профессионалом математиком и, кроме того, не следует заранее вводить его в курс дела) выбрать наугад число из интервала от нуля до тысячи, он почти наверняка не загадает единицу или девятьсот девяносто девять. Напротив, в большинстве случаев загаданное число будет расположено где-то недалеко от середины интервала. В чем состоят психологические особенности загадывания чисел, мы не знаем (интуиция?), но каждый из читателей может легко убедиться в справедливости сказанного, предложив загадывать числа нескольким своим приятелям. Для этого не надо даже брать большие интервалы. Вполне достаточно, скажем, загадывать числа из интервала от нуля до десяти.С учетом этих соображений стратегию отгадывания можно построить следующим образом. Будем предполагать, что загаданное число почти наверняка не находится в интервалах от нуля до двухсот пятидесяти шести и от семисот шестидесяти восьми до тысячи. Попытаемся отгадать его, исходя из предположения, что оно заключено в интервале от 256 до 768. Далее используем уже известную стратегию деления пополам. Первый вопрос тот же самый:— Задуманное вами число больше 512?Однако второй вопрос уже будет сформулирован иначе. Если ответ на первый вопрос был положительным, то следующим мы зададим вопрос:— Задуманное вами число больше 640? (640 — половина интервала между 513 и 768.)Если же ответ на первый вопрос был отрицательным, то следующий вопрос будет звучать так:— Задуманное вами число больше 384? (384 — половина интервала между 257 и 512.)Легко подсчитать, что подобная стратегия позволяет отгадать число не более чем за девять вопросов, если, конечно, загаданное число взято из интервала от 256 до 768. Ну а если это не так?Тогда мы все равно отгадаем число. Но потратить придется больше, чем десять вопросов. Можно показать, что если все время придерживаться гипотезы об интервале, из которого выбрано загаданное число, и отказаться от нее лишь тогда, когда будет доказано, что она несправедлива (для этого тоже потребуется девять вопросов), то общее количество вопросов в этом случае будет семнадцать. Все дело в том, как часто принятая гипотеза будет оказываться несправедливой.Предположим, что мы только тем и занимаемся, что отгадываем числа. Предположим далее, что, как и считалось с самого начала, в подавляющем большинстве, например в 96 случаях из ста, загаданное число оказывается в пределах интервала от 256 до 768 и, следовательно, может быть отгадано за девять вопросов. Лишь в четырех случаях из ста загаданное число окажется вне этого интервала, и на его отгадывание затрачивается 17 вопросов. Среднее число вопросов будет, очевидно, равно 9,32, то есть меньше десяти.Значит, если строить стратегию отгадывания с учетом психологии своих приятелей, а проще говоря, с учетом вероятности нахождения загадываемого числа в пределах того или иного интервала, то среднее количество задаваемых вопросов окажется меньше, чем в том случае, когда стратегия отгадывания строится с учетом равной вероятности нахождения числа в любом месте исходного интервала. Меньше, даже, несмотря на то, что в отдельных случаях количество задаваемых вопросов будет значительно больше среднего. Переходя к терминологии, принятой в теории Хартли, можно сказать, что в последнем случае стратегия отгадывания строится с учетом распределения вероятности, заданного на исходном наборе чисел, или, как мы будем дальше говорить, на исходном многообразии.Здесь имеет смысл сказать несколько слов об интуиции. Что, например, следует думать о человеке, который отгадал число с первой попытки? Можно ли считать, что он проявил интуицию? Все только что проведенные рассуждения говорят, что это не так. Любое суждение как о процессе отгадывания, так и о свойствах отгадывающего, можно выносить лишь на основе подсчета среднего количества сделанных попыток. Мы еще вернемся к этому вопросу в главе третьей.Американский математик К. Шеннон в 1949 году предложил использовать в качестве меры количества информации как раз величину среднего количества вопросов, необходимого для отгадывания при использовании соответствующей стратегии. В теории Шеннона так же, как и в теории Хартли, предполагается, что сообщения поставляются (генерируются некоторым источником, который выбирает их из конечного наперед заданного набора сообщений. За количество информации, содержащейся в одном сообщении, принимается среднее значение логарифма от вероятности этого сообщения, взятое со знаком «минус». На первый взгляд представляется, что такое определение не имеет ничего общего со всем, что говорилось ранее. Однако можно убедиться, что это не так.Достаточно лишь вспомнить, что если все сообщения равновероятны, то вероятность получения одного из них равна единице, деленной на общее число сообщений и наборе. А логарифм обратной величины равен взятому со знаком «минус» логарифму от этой величины. Следовательно, в случае равновероятности всех сообщений количество информации по Шеннону совпадает с количеством информации по Хартли, а это последнее, в свою очередь, как было показано выше, совпадает, во всяком случае для примера с отгадыванием чисел, с количеством информации по Колмогорову.Другая, крайность имеет место тогда, когда вероятность появления одного из сообщений в- наборе равна единице, а всех остальных —соответственно нулю. Можно считать, что набор состоит из одного-единственного сообщения, поскольку все остальные в течение любого разумного интервала времени все равно не будут получены. Логарифм единицы равен нулю, поэтому, по Шеннону, количество информации, переносимой сообщением, вероятность появления которого равна единице, равно нулю. Тот же результат мы получаем, применяя меру Хартли к набору, состоящему из одного-едннственного сообщения. Наконец, ясно, что, если ваш приятель всегда загадывает одно и то же число, угадать его можно, не задавая никаких вопросов.Итак, мы установили, что в двух, как говорят, экстремальных случаях применение мер Хартли, Шеннона и Колмогорова дает одно и то же количество информации. Можно показать, что для неравновероятных сообщений количество информации, по Шеннону, будет всегда меньше максимально возможного, получаемого для равновероятных сообщений. В этом и состоит основное отличие теории Шеннона от теории Хартли. Теперь мы знаем, что существует по меньшей мере три различные меры количества информации. То, что их три, а также и то, что вообще-то говоря, не существует четкого рецепта, когда какой пользоваться, как раз и свидетельствует о незавершенности современной теории информации.Еще, один вопрос требует немедленного ответа. Каждая из трех рассмотренных нами мер предусматривает наличие источника, причем такого, который содержит лишь конечное число сообщений. А как быть в случае источника с бесконечным разнообразием сообщений?Чтобы мы могли свободно рассуждать в дальнейшем, необходимо доказать, что в природе не может существовать источник, располагающий бесконечным разнообразием сообщений (для искусственных источников это утверждение не требует доказательства). Посмотрим, что происходит, когда источником сообщений является сама природа, а точнее, некоторая определенная система конечных размеров, наблюдаемая нами в течение конечного интервала времени.Такая система может что-то сообщать лишь о своем собственном внутреннем состоянии. Согласно принципу неточностей Гейзенберга состояние физической системы может быть воспринято лишь с некоторой ошибкой (неточностью), причем эта неточность не может быть меньше определенной величины. Значит, любые два состояния системы могут отличаться друг от друга только в том случае, если они разделены некоторым конечным интервалом. В любой реальной системе описывающие ее физические величины не могут принимать бесконечные значения. Отсюда следует, что число различимых состояний любой ограниченной физической системы всегда конечно.Пусть, например, мы судим о состояниях системы по ее массе, а массу определяем с помощью весов со шкалой и стрелкой. Поскольку стрелка всегда имеет конечную ширину, невозможно измерить массу (произвести взвешивание) с точностью большей, чем, скажем, 1 грамм. Если мы знаем к тому же, что масса системы не более 1 килограмма, то не может быть более тысячи отличающихся друг от друга результатов взвешивания. Итак, наша предпосылка о конечности числа различных сообщений в источнике не снижает, как говорят, общности рассуждений.
