Как измерить информацию. Содержательный подход
Вопрос «как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными. Выше мы подошли к информации только с одной стороны: выяснили, чем она является для человека.
Другую точку зрения на информацию, объективную, то есть не связанную с ее отношением к человеку, мы обсудим несколько позже. Итак, пока остаемся на прежней позиции: информация — это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно.
Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: 2x2 = 4 информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. Отсюда, казалось бы, следует вывод, что сообщение информативно для человека, если оно содержит новые сведения, и неинформативно, если сведения старые, известные. Но вот вы раскрыли учебник по высшей математике и прочитали там такое определение: — Значение определенного интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах. Пополнил этот текст ваши знания? Скорее всего, нет! Он вам непонятен, а поэтому — неинформативен. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Для того, чтобы понять данное определение, нужно изучить элементарную математики и знать начала высшей. Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.
Неопределенность знаний и единица информации
Пока мы с вами научились различать лишь две ситуации: «нет информации» — «есть информация», то есть количество информации равно нулю или не равно нулю. Но, очевидно, для измерения информации этого недостаточно. Нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше. Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит».
Ее определение звучит так: Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.
В этом определении есть понятия, которые требуют пояснения. Что такое «неопределенность знаний»? Лучше всего это объяснить на примерах. Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка? Есть всего два варианта возможного результата бросания монеты. Причем, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны. Так вот, в этом случае перед подбрасыванием монеты неопределенность знаний о результате равна двум. Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знаний о результате бросания кубика равна шести. Еще пример: спортсмены-лыжники перед забегом путем жеребьевки определяют свой порядковый номер на старте. Допустим неопределенность знаний спортсменом своего номера до жеребьевки равна ста. Следовательно, можно сказать так: Неопределенность знаний о некотором событии — это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия).
Вернемся к примеру с монетой. После того, как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. Неопределенность знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации. Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации.
А теперь такая задача: студент на экзамене может получить одну из четырех оценок: «5» — «отлично», «4» — «хорошо», «3» — «удовлетворительно», «2» — «неудовлетворительно». Представьте себе, что ваш товарищ пошел сдавать экзамен. Причем, учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». Вы волнуетесь за него, ждете результата экзамена. Наконец, он пришел и на ваш вопрос: «Ну, что получил?» — ответил: «Четверку!» Вопрос. Сколько бит информации содержится в его ответе? Если сразу сложно ответить на этот вопрос, то давайте подойдем к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет». Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации Первый вопрос: — Оценка выше тройки? —Да! После этого ответа число вариантов уменьшилось в два раза. Остались только «4» и «5». Получен 1 бит информации. Второй вопрос: — Ты получил пятерку? — Нет! Выбран один вариант из двух оставшихся: оценка — «четверка». Получен еще 1 бит информации. В сумме имеем 2 бита. Сообщение о том, что произошло одно из четырех равновероятных событий несет 2 бита информации. Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Решим еще одну частную задачу, применив этот метод а потом выведем общее правило. На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Задаем вопросы: — Книга лежит выше четвертой полки? — Нет. — Книга лежит ниже третьей полки? —Да. — Книга — на второй полке? — Нет. — Ну теперь все ясно! Книга лежит на первой полке! Каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации. А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий. Обозначим буквой N количество возможных событий, или, как мы это еще называли, — неопределенность знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий. В примере с монетой N = 2, i = 1. В примере с оценками N = 4, i = 2. В примере со стеллажом N = 8,i = 3. Нетрудно заметить, что связь между этими величинами выражается формулой: 2i=N Действительно: 21 = 2; 22 =4; 23 = 8. Если величина N известна, а i — неизвестно, то формула становится показательным уравнением для определения i. Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение: 2i = 16. Поскольку 16 = 2 , то i = 4. Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2i = N.
Если значение N равно целой степени числа 2 (4, 8, 16, 32, 64 и т.д.), то такое уравнение решается просто: i будет целым числом. А чему равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Решение уравнения 2i=6 будет дробным числом, лежащим между числами 2 и 3, поскольку 22 = 4, а 23 = 8. С точностью до пяти знаков после запятой решение такое: 2,58496.
|
