Эксперт по сдаче вступительных испытаний в ВУЗах
ЛАБОРАТОРНАЯ РАБОТА №2. «ИНФОРМАЦИЯ И ЭНТРОПИЯ»
Цель работы: изучить теоретическое понимание энтропии, ее свойства и практическое применение при решении задач.
Задачи:
- Изучить теоретическое понимание энтропии.
- Изучить свойства энтропии.
- Выполнить практические задания по теме (решение задач).
- Оформить отчет по практической работе и представить преподавателю.
Задача 1. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1/512 часть одного мегабайта?
Задача 2. Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере, равна 256. Какое количество информации в байтах может ввести пользователь в компьютер за 1 минуту?
Задача 3. Система оптического распознавания символов позволяет преобразовывать отсканированные изображения страниц документа в текстовый формат со скоростью 4 страницы в минуту и использует алфавит мощностью 65536 символов. Какое количество информации будет нести текстовый документ после 5 минут работы приложения, страницы которого содержат 40 строк по 50 символов?
Задача 4. Тексты, составленные из 32 букв украинского алфавита, передаются по телетайпу при помощи двух качественных признаков: наличия и отсутствия таковой посылки. Чему равно количество информации, приходящееся на одну принятую букву, на k принятых букв?
Задача 5. Определить объем и количество информации при передаче русского текста из 350 букв при помощи пятизначного двоичного кода.
Задача 6. Алфавит состоит из букв A,B,C,D. Вероятности появления буквы равны соответственно ; ; . Определить количество информации на символ сообщения, составленного из такого алфавита.
Задача 7. Определить объем и количество информации при следующих исходных условиях:
А) алфавит равновероятностный. Символы вторичного алфавита комбинируются в равномерные кодовые комбинации числом символов .
Б) первичный алфавит содержит 8 букв . Буквы алфавита встречаются в сообщении с вероятностями: ; ; ; ; .
Кодовые комбинации во вторичном алфавите равномерные .
В) первичные алфавит состоит из 5 букв , которые встречаются с равными вероятностями в тексте, а и вторичные сообщения имеют одинаковую длину;
Г) первичный алфавит равновероятный , а вторичные сообщения построены из кодовых комбинаций, имеющих среднюю длину 6 двоичных символов.
Задача 8. На вычислительный центр с периферийного объекта необходимо передать определенную экономическую информацию, содержащуюся в таблицах с различными показателями. Определить максимально возможный объем информации, которым может быть загружен канал связи, если таблиц 100 шт., таблицы имеют 64 клетки, цифры, содержащиеся в таблицах не более, чем трехзначные, а код, в котором передаются сообщения – пятизначный двоичный.
Задача 9. Рассмотрим некоторую ситуацию. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар больше, чем вероятность попадания черного. Можно сделать заключение о вероятности события, которые интуитивно понятны. Провести количественную оценку вероятности для каждой ситуации.
Задача 10.
Ресурсы человеческого мозга позволяют обрабатывать информацию со скоростью около 16 бит/с. Какое количество информации перерабатывает человек в течение жизни (принять среднюю продолжительность жизни за 60 лет).
Задача 11. Система имеет N равновероятных состояний. Количество информации в системе (о ее состоянии) равно 5 бит. Чему равна вероятность одного состояния? Если состояние системы неизвестно, то каково количество информации в системе? Если известно, что система находится в состоянии номер 8, то чему равно количество информации?
Задача 12. Некоторая система может находиться в четырех состояниях с вероятностями: в первом (худшем) — 0,1, во втором и третьем (среднем) — 0,25, в четвертом (лучшем) — 0,4. Чему равно количество информации (неопределённость выбора) в системе?
Задача 13. Чему равна энтропия системы, состоящей:
А) из двух элементов, каждый из которых может с равной вероятностью находиться в двух состояниях?
Б) из трех элементов, каждый из которых может с равной вероятностью находиться в четырех состояниях?
Задача 14. Чему равна энтропия системы, состояние которой описывается дискретной величиной со следующим распределением вероятностей состояний
| Ai |
A1 |
A2 |
A3 |
A4 |
| Pi |
0,1 |
0,2 |
0,3 |
0,4 |
Задача 15. Чему равна энтропия сообщений: «Сейчас Луна упадет на Землю», «Сейчас Луна не упадет на Землю»?
Задача 16. На вычислительном центре постоянная информация хранится в 32768 стандартных ячейках. Сколькими способами можно передать сведения о том, из какой ячейки необходимо извлечь информацию? Чему равно количество информации в каждом отдельном случае? Какое геометрическое расположение ячеек в хранилище позволит передавать эту информацию минимальным количеством качественных признаков?
Задача 17. Генератор вырабатывает четыре частоты . В шифраторе частоты комбинируются по три в кодовой комбинации. Определить:
А) чему равно максимальное количество сообщений, составленных из этих частот
Б) чему равно количество информации на один символ первичного алфавита?
Вопросы для самоконтроля:
- Назовите определение понятий информация и количество информации?
- Поясните цель и основные задачи измерения количества информации.
- Поясните формулы Р. Хартли и К. Шеннона для определения количества информации?
- В чем заключается процесс кодирования информации?
- Перечислите способы кодирования информации?
- Дайте определение понятию «энтропия»?
