Евгений Седов - Одна формула и весь мир
Идеи Больцмана были подхвачены, развиты и углублены. Они нашли отражение в трудах американца Дж. Гиббса, поляка М. Смолуховского, русских ученых Н. Н. Пирогова и Т. А. Афанасьевой-Эренфест.
В более поздние годы, во время бурного развития квантовой физики, идеи Больцмана использовали в своих исследованиях такие выдающиеся физики, как Ферми, Дирак, Эйнштейн. Больше того, классическая работа Планка, положившая начало всей квантовой физике, не могла бы появиться на свет, если бы Планк не пересмотрел своих взглядов на теорию Больцмана и не стал бы горячим сторонником тех его идей, которые он раньше не признавал.
А в середине нашего века была создана теория информации, с ее появлением введенная Больцманом функция пережила как бы второе рождение: с этих пор она начала применяться для исследования не только хаотичных, но и обладающих определенным порядком систем. Для таких систем появление разных элементов (букв, яркостей и т. п.) имеет не одинаковую, а различную вероятность. Именно поэтому вместо напоминающего снежный буран танца светлых и темных пятен мы видим на телеэкранах изображение разных предметов, лиц и событий. Именно поэтому мы находим в газетах, журналах и книгах не беспорядочное чередование букв, а осмысленный Текст.
Рождение теории информации заставило еще раз переосмыслить сущность понятия «энтропия».
В 1948 году в реферативном журнале американской телефонной компании «Белл систем» появилась статья 32-летнего инженера-связиста Клода Шеннона «Математическая теория связи».
Она начиналась так: «Современное развитие различных методов модуляции... повысило интерес к общей теории связи. Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящей статье мы расширим теорию с тем, чтобы включить некоторое число новых факторов, в частности, влияние шума в канале».
Скромная постановка сугубо технической, прикладной задачи. Скромные ссылки на работы предшественников — Хартли и Найквиста, появившиеся в том же журнале около 20 лет назад. Как же случилось, что спустя несколько лет эта статья была единодушно признана одним из самых значительных фундаментальных научных трудов нашей эпохи? Что нового внесла она в теорию по сравнению с тем, что сделали Найквист и Хартли?
Главным принципиально новым явилась введенная Шенноном мера количества информации. Измерять информацию предлагал до Шеннона Хартли. Однако его мера имела весьма частный характер по сравнению с шенноновской, основанной на методе измерения информации с помощью выведенной за 70 лет до Шеннона Больцманом статистической формулы энтропии.
Вот эта связь между количеством информации и энтропией и послужила сначала причиной горячих дискуссий, а затем — ключом к решению ряда научных проблем.
Впрочем, спор разгорелся не сразу, и проблемы решались не за один месяц и не за один год.
В предисловии к русскому переводу сборника статей К Шеннона под названием «Работы по теории информации и кибернетике» известный советский математик академик А. Н. Колмогоров писал: «...Мне вспоминается, что еще на международном съезде математиков в Амстердаме (1954 г.) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика».
Но прошло еще несколько лет, и формула Больцмана—Шеннона стала мелькать не только в технических и математических журналах, но и в трудах биологов, психологов, лингвистов, физиков, искусствоведов, геологов, философов... В общем, повторюсь, сейчас трудно назвать область человеческих знаний, в которой замечательную формулу не пытались бы так или иначе применить.
Казалось бы, популярность новой теории должна была принести ее создателю удовлетворение и радость. На самом же деле все обстояло совсем не так. «Теория информации, как модный опьяняющий напиток, кружит голову всем вокруг... За последние несколько лет теория информации превратилась в своего рода бандвагон от науки»,— писал Шеннон в своей статье «Бандвагон». Бандвагоном в Америке называют специальный автобус с джазом, на котором победитель очередных выборов совершает перед избирателями своего рода парад-алле.
Шеннон не нуждается в бандвагоне, его не привлекает быстрое признание и легкий успех. Как человек науки Шеннон предпочитает политическим акциям и кампаниям поиски изящных инженерных решений, громким овациям— тишину лаборатории, признанию публики — уединенный творческий кабинет. Чрезмерно широкий и часто слишком поверхностный интерес к новой теории со временем стал его раздражать. Он написал статью о бандвагоне и оказался в роли героя «Тысяча и одной ночи»: откупорил бутылку и остановился поодаль, наблюдая, как из нее стал вырастать огромный джинн.
Прямо-таки парадоксально выглядит несходство этой истории с тем, что пережил в свое время Больцман. Больцман страдал от того, что предложенное им толкование энтропии не нашло поддержки среди современников. А Шеннон, напротив, был крайне обеспокоен чересчур живым откликом, тем, что новые взгляды на энтропию сразу же вышли за пределы узкого круга специалистов по технике связи и были подхвачены представителями совсем неожиданных для самого Шеннона научных областей. И все же нельзя не разделить некоторых опасений Шеннона, связанных с тем, что на теорию информации возник, как выразился Шеннон, «очень большой, даже, может быть, слишком большой спрос».
Действительно, специфика задач теории и техники связи требует весьма строгого подхода к использованию как математического аппарата теории информации, так и выдвинутых новой теорией общих идей. Однако нельзя, к сожалению, утверждать, что при переносе этих идей в такие области, как биология, психология, семиотика, искусствоведение, всегда соблюдается та же научная строгость. Здесь понятия теории информации часто внедряются на основе весьма поверхностных аналогий в качестве «модных» терминов, без глубокого проникновения в их суть. И тут можно полностью согласиться с Шенноном: если не пресечь этой тенденции в корне, теория информации и близкие к ней области могут легко превратиться в теории для болтунов. Подобного рода опасения и побудили основоположника теории информации обратиться к своим коллегам с призывом «поддерживать образцовый порядок в своем собственном доме», «обратить внимание на то, чтобы исследовательская работа велась на самом высоком научном уровне», «больше исследовать и меньше демонстрировать свои достижения, повысить требования к себе».
Обобщая эти высказывания, академик А. Н. Колмогоров приходит к заключению, что в целом статья «Банд-вагон» демонстрирует типичный для Шеннона «скромный и деловой подход».
«Модный напиток» не вскружил голову Клоду Шеннону. Ему раньше всех было дано понять, что теория его не универсальна, что предложенные им для измерения количества информации новая мера и новые единицы измерения (биты) не учитывают таких важных свойств информации, как ее ценность и смысл.
Шеннон предложил измерять информацию по степени ее неожиданности.
Отправив жену в родильный дом, гражданин Б. может с равной вероятностью ожидать рождения дочери или сына. Сообщение о рождении сына или дочери дает ему информацию, количество которой составляет 1 бит (о способах вычисления количества информации мы поговорим подробнее в следующей главе).
В очередном турнире на первенство мира по шахматам первую партию белыми могут начать с равной вероятностью оба претендента. После жеребьевки стало известно, кто из соперников начнет турнир белыми. Сообщение об этом даст получателю информацию в количестве 1 бита.
Теперь представим себе, что один и тот же гражданин Б. ожидает рождения ребенка и следит за ходом шахматного турнира. Вполне очевидно, что сообщения «У вас родился сын» и «Карпов начнет первую партию белыми» имеют для него совершенно различную ценность. А теория информации оценивает их одинаково.
Есть ли смысл измерять информацию без учета содержащегося в ней смысла? Оказывается, в этом отказе от конкретного содержания ради сопоставимости количества информации разнообразных сообщений и заключается самый глубокий теоретический смысл.
Существует ли на земле механическое движение без трения? Не существует. Об этом прекрасно знали и современники Галилея, и, конечно же, сам Галилей. И тем не менее Галилей задал себе вопрос: что было бы, если бы не было трения?
Ответ получился парадоксальным: тогда телеги могли бы ездить без лошадей! Так был открыт закон инерции, ставший затем фундаментом законов механики, управляющих движением всех земных и небесных физических тел.
Таков один из главных методологических принципов науки: чтобы выявить какие-то общие закономерности, надо абстрагироваться от некоторых конкретных свойств реальных объектов. Именно так и поступил с содержащимся в сообщениях смыслом основоположник теории информации Клод Шеннон. Предложенные им для измерения количества информации единицы (биты) пригодны для оценки любых сообщений, будь то известие о рождении сына, звуки симфонии или телевизионный спектакль.
