Эксперт по сдаче вступительных испытаний в ВУЗах
Модуль 1. Измерение информации. Количество информации. Тема 2.1 Определение количества информации. Формула Хартли.
Основные понятия: количество информации, аддитивная мера Хартли.
Чтобы измерить количество информации, содержащееся в сообщении или сигнале, можно воспользоваться так называемой
аддитивной мерой Хартли. Введем понятия глубины сообщения и длины сообщения.
Глубина сообщения q –
количество различных элементов (символов, знаков), принятых для представления сообщений. В каждый момент времени реализуется только один какой-либо элемент.
Длина сообщения n –
количество позиций, необходимых и достаточных для представления сообщений заданной величины.
При заданных глубине и длине сообщения количество всех возможных сообщений (N), которое можно представить:
N = q n.
Задача 1. Подсчитать количество всех трехбуквенных русских слов.
Решение
Всего трехбуквенных русских слов N = 323 = 32768. Заметим, что в это количество включены и «совершенно невозможные» слова, например «ааа» или «ььы», но, подчеркнем, что при описываемом подходе смысл (семантика) сообщения не рассматривается.
Ответ: 32768 слов.
Определим логарифмическую меру, позволяющую вычислять количество информации в битах. Такую информационную емкость (I) называют
мерой Хартли:
I = log 2 N = n log 2 q
.
Другими словами количество информации, полученное при выборе одного предмета из N равнозначных предметов, равно log 2 N. То есть именно такое количество информации необходимо для устранения неопределенности из N равновозможных вариантов.
Задача 2. Чему равно количество информации для трехбуквенных русских слов?
Решение
Для трехбуквенных русских слов I = 3 log 2 32 = 15 (бит).
Ответ: 15 бит.
Значение I – количество двоичных разрядов. Оно не может быть дробным, поэтому в случае получения дробного значения, необходимо округлить результат.
Итак, 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она позволяет оперировать мерой как числом. Количество информации при этом
эквивалентно количеству двоичных символов 0 или 1.
Закон аддитивности информации: при наличии нескольких источников информации общее количество информации равно
I = I 1 + I 2 + … + I k =
å Ii i= 1
где Ii – количество информации от источника i. Всего источников – k.
Задача 3. Используя закон аддитивности и формулу Хартли, подсчитайте, какое количество информации несет достоверный прогноз погоды.
Решение.
Предположим, что прогноз погоды на следующий день заключается в предсказании дневной температуры (обычно выбор делается из 16 возможных для данного сезона значений) и одного из четырех значений облачности (солнечно, переменная облачность, пасмурно, дождь). Получаемое при этом количество информации равно
I = log216 + log24 = 4 + 2 = 6 (бит) Ответ: 6 бит.
Логарифмическая мера информации позволяет измерить количество информации и используется на практике.
Задача 4. Определить, какое количество информации в битах содержит книга, написанная на русском языке, содержащая 200 страниц (каждая страница содержит приблизительно 2000 символов).
Решение
Для решения воспользуемся мерой Хартли:
I = n log 2 q = 200 ∙ 2000 ∙ log 2 32 = 2000000 бит. Здесь n – длина сообщения в знаках: n = 200 страниц ∙ 2000 знаков/страница = 400000 знаков.
Ответ: 2000000 бит.
Заполните таблицу:
Обсудите заполненную таблицу с другими студентами группы.
Как вы теперь ответите на вопрос: «Можно ли измерить информацию? Если да, то как?». Существуют ли ситуации, когда количественное выражение информации не позволяет определить ее значимость для человека, общества?
Решите следующие задачи:
- В корзине лежат 16 шаров. Все шары разного цвета и среди них есть красный. Сколько информации несет сообщение о том, что из корзины достали красный шар?
- В корзине лежат 8 черных и 8 белых шаров. Сколько информации несет сообщение о том, что из корзины достали белый шар?
- В корзине лежат 16 шаров. Среди них 4 белых, 4 черных, 4 красных и 4 зеленых. Сколько информации несет сообщение о том, что из корзины достали красный шар?
- При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?
- Какое количество информации содержит один символ алфавита, состоящего из 1024 символов?
- Сколько бит несет слово «ИНФОРМАЦИЯ»?
- В алфавите некоторого языка две буквы «А» и «Б». Все слова на этом языке состоят из 11 букв. Каков словарный запас этого языка, т.е. сколько слов он содержит?
- Информационное сообщение объемом 1,5 килобайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
- Алфавит первого племени содержит N символов, алфавит второго – в два раза больше. Племена обменялись приветствиями, каждое по 100 символов. Приветствие какого племени содержит больше информации (в битах) и на сколько?
- В процессе преобразования растрового графического файла количество всех возможных цветов было уменьшено с 1024 до 32. Как и во сколько раз изменился размер файла?
Тема 2.1.
- N=16 => 2i=16 => i=4
- P(Б) = 8/16 = 1/2.
1/p = 2i.
i = log2(1/p) = log2(2) = 1.
- P вытаскивания красного шара равна 1/4.
Количество информации 2
i = обратной величине вероятности. Т.е.2
i=4, т.е. i=2 бит
- k= 7бит
k=log2(N)
N=2
k
N=2
k=2
7=128
- N = 2i
1024 = 2
10
=> i = 10
- Каждая буква весит 1 байт или 8 бит. 80 бит
- A = Ni
N = 2 (А,Б — две буквы)
i = 11
A = 2
11 = 2048
- I = 1,5 Кб, К = 3072 символа.
N — ?
I= 1,5 Кб = 1,5 • 1024 • 8 = 12 288 бит.
I = I/K = 12288/3072 = 4 бита
N=2i = 24 =16 символов
- На кодирование символов алфавита первого племени понадобится
100 * Log(N)/Log(2) бит информации
На кодирование символов алфавита второго племени понадобится
100 * Log(2N)/Log(2) = 100 + 100 * Log(N)/Log(2) бит информации
А разность между этими величинами — ровно 100 бит
- Информационный объем графического файла (то есть объем памяти, который он занимает) определяется, как произведение числа пикселей в изображении на количество бит/байт, которые отводятся для хранения информации о цвете данного пикселя.
Для хранения информации о 1024 цветах необходимо 10 бит (2
10 = 1024), а для хранения информации о 32 цветах требуется всего 5 бит.
То есть при уменьшении количества цветов с 1024 до 32, количество бит, отведенных для хранения цвета каждого пикселя, будет занимать в 10: 5 = 2 раза меньше места.
Следовательно, информационный объем файла также уменьшится в 2 раза.
Ссылка на первоисточник:
https://vshp.online
