Помощь студентам дистанционного обучения: тесты, экзамены, сессия
Помощь с обучением
Оставляй заявку - сессия под ключ, тесты, практика, ВКР
Заявка на расчет

Практическая работа по дисциплине «Информатика» для ВлГУ, пример оформления

Автор статьи
Валерия
Валерия
Наши авторы
Эксперт по сдаче вступительных испытаний в ВУЗах

Модуль 2. Измерение информации. Количество информации.

Тема 2.3 Энтропия как мера неопределенности физической системы. Основные понятия: энтропия, необходимое и достаточное условие равенства энтропии количеству информации. Решите задачу 1: На ферме живут 16 цыплят, 7 кур, 1 петух и 5 гусей. Определить количество информации в зрительном сообщении: «На рождество зажарили цыпленка». Решите задачу 2: Мама попросила дочку сходить в магазин и купить фрукты. В магазине в наличии было 4 кг. яблок, 5 кг. груш и 10 кг. апельсинов. Определить количество информации, полученной мамой в зрительном сообщении о покупке, сделанной дочкой. Можно ли решить данную задачу таким же способом, как и предыдущую? Почему?   В статистической теории информации Шеннона вводится более общая мера количества информации, в соответствии с которой рассматривается не само событие, а информация о нем. Любое сообщение, несущее информацию, всегда представляет собой совокупность сведений о какой-то физической системе. Например, на вход автоматизированной системы управления производственным цехом может быть подано сообщение о химическом составе сырья, температуре в печи, нормальном или повышенном проценте брака. Каждое из таких сообщений описывает состояние той или иной физической системы. Так же обстоит дело, когда передается сводка погоды или когда на адрес городского эпидемиолога поступает сообщение о числе заболеваний за сутки. Во всех случаях сообщение описывает состояние физической системы. Очевидно, если бы состояние этой системы было известно заранее, то не имело бы смысла передавать сообщение: оно не имело бы никакой информации. Сообщение приобретает смысл только тогда, когда состояние системы заранее неизвестно, обладает какой-то степенью неопределенности. Очевидно, сообщение, выясняющее для нас состояние такой системы, будет тем богаче и содержательнее, чем больше была неопределенность системы до этого сообщения. Возникает естественный вопрос: что значит «большая» или «меньшая» степень неопределенности и как ее можно измерить? Чтобы уяснить себе этот вопрос, сравним между собой две физические системы, каждой из которых присуща некоторая неопределенность. В качестве первой системы (обозначим ее А) возьмем монету, которая подбрасывается и может случайным образом выпасть той или иной стороной, то есть оказаться в одном из двух состояний: А1 — «орел»; А2 — «решка». В качестве второй системы (пусть будет В) возьмем игральный кубик, который тоже подбрасывается и может оказаться в одном из шести состояний: В1 — выпала единица; В2 — выпала двойка;   . . . В6 — выпала шестерка. Какая из этих систем обладает большей неопределенностью? Очевидно, вторая, так как она отличается большим разнообразием возможных состояний. С первого взгляда может показаться, что все дело в числе состояний: у первой системы их два, а у второй — шесть. Однако степень неопределенности зависит не только от числа состояний, но и от их вероятностей. Чтобы убедиться в том, что степень неопределенности зависит от вероятности появления события, рассмотрим третью систему С, у которой, как и у системы А, два возможных состояния. Пусть системой С будет техническое устройство, которое имеет два возможных состояния: С1 — устройство исправно; С2 — устройство отказало. Если вероятности этих двух состояний одинаковы (по 0,5 или 50%), то степень неопределенности системы С такая же, как системы А (монета). Теперь представим себе, что состояния С1 и С2 неравновероятны, например, вероятность первого — 0,99 (99%), а вероятность второго — 0,01 (1%). Очевидно, степень неопределенности такой системы будет гораздо меньше, чем в первом случае: ведь мы почти уверены, что устройство будет исправно. А если состояние С1 будет совершенно достоверно (то есть иметь вероятность 1), то, очевидно, система С вообще никакой неопределенностью обладать не будет. Таким образом, мы убедились, что степень неопределенности физической системы зависит не только от числа состояний, но и от того, как распределены вероятности между состояниями. В теории информации в качестве меры неопределенности системы принята так называемая энтропия. Если система А имеет n возможных состояний А1 , А2 , . . ., Аn, причем вероятности этих состояний равны соответственно p1 , p2 , …, pn; p1 + p2 + … + pn = 1, то энтропией системы А называется величина: H(A) = -(p1 · log2 p1 + p2 · log p2 + … + pn ·  log pn),                                (1) или   H(A) = —           pi  · log q,                                                                               (2)   то есть сумма произведений вероятностей состояний на логарифмы этих вероятностей, взятая с обратным знаком (обратный знак берется просто для того, чтобы энтропия была неотрицательной). Логарифм в формуле (2) может быть взят при любом основании. Обычно логарифм берется по основанию 2. Тогда говорят, что энтропия измеряется в двоичных единицах (битах): Один бит — это энтропия простейшей физической системы, которая может быть только в одном из двух состояний, причем эти состояния равновероятны. Действительно, пусть система А обладает двумя состояниями А1 и А2 с вероятностями p1 = 0,5 и p2 = 0,5. Согласно формуле (2), энтропия такой системы равна H(A) = — (0,5·log2 0,5 + 0,5·log2 0,5) = 1, то есть одному биту. За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации. В классической теории информации количество информации, заключенной в   сообщении, измеряется уменьшением энтропии системы под действием этого сообщения. Пусть, например, до поступления сообщения энтропия системы была равна двум битам, а после него стала равной одному биту. Из этого мы заключаем, что информация, заключенная в сообщении, равна одному биту. Понятию «информация в битах» можно дать очень наглядное истолкование: она равна числу ответов «да» и «нет» на разумно поставленные вопросы, с помощью которых можно получить ту же информацию. Пусть, например, система А может иметь два равновероятных состояния: А1 и А2. Тогда полное выяснение состояния этой системы несет информацию один бит, и, значит, можно ее получить в результате ответа на один вопрос. Действительно, задав один- единственный вопрос: «Находится ли система в состоянии А1?» и получив на него ответ «да» или «нет», мы полностью выясним состояние системы. Энтропия обладает следующими свойствами: а) энтропия всегда неотрицательна, так как значения вероятностей выражаются величинами, не превосходящими единицу, а их логарифмы — отрицательными числами или нулем, так что члены суммы (2.7) неотрицательны; б) если pi = 1 (а все остальные pj = 0, j = 1, …, (n-1)), то Н(А) = 0. Это тот случай, когда об опыте или величине все известно заранее и результат не дает новую информацию; в) H(A) = Hmax при p1 = p2 = … = pn = 1 / n, при этом ; г) энтропия системы, состоящей из двух подсистем А и В (состояния системы образуются совместной реализацией объектов А и В), то есть: Н(АВ) = Н(А) + Н(В). Если события равновероятны и статистически независимы, то оценки количества информации, по Хартли и Шеннону, совпадают. Это свидетельствует о полном использовании информационной емкости системы. В случае неравных вероятностей количество информации, по Шеннону, меньше информационной емкости системы. Количество информации тогда и только тогда равно энтропии, когда неопределенность ситуации снимается полностью. В общем случае нужно считать, что количество информации есть уменьшение энтропии вследствие опыта или какого-либо другого акта познания. Если неопределенность снимается полностью, то информация равна энтропии: I = H. В случае неполного разрешения имеет место частичная информация, являющаяся разностью между начальной (H0) и конечной (H1) энтропией: I = H0  — H1.

Задача 1.

Вероятность первого события составляет 0,5, а второго и третьего — 0,25. Какое количество информации мы получим после реализации одного из них?

Решение.

  Р1=0,5; Р2=Р3=0,25 Þ I = Ответ: 1,5 бита.

Задача 2.

— (0,5 × log2 0,5 + 2 × (0,25 × log2 0,25) = 1,5 бита.   За контрольную работу по информатике получено 8 пятерок, 13 четверок, 6 троек и 2 двойки. Какое количество информации получил Васечкин при получении тетради с оценкой?

Решение.

  Ответ: 1,77 бит.

Задача 3.

Добрый экзаменатор никогда не ставит двоек по информатике. По причине своей доброты он заранее определил количество отметок каждого вида и произвольно расставил их абитуриентам. Количество информации, содержащееся в сообщении «Абитуриент Иванов не сдал экзамен на отлично», равно 3-log27 бит. Информационный объем сообщения «Абитуриент Сидоров получил четверку» равен двум битам. Определите информационный объем зрительного сообщения о полученной оценки абитуриентом Сидоровым.

Решение.

Из условия видно, что количество оценок, распределенных экзаменатором различное и вопрос задачи указывает на одну из всех возможных оценок, поэтому воспользуемся подходом к определению количества информации для неравновероятных событий, а именно формулой Шеннона. Обозначим i4 – количество информации в сообщении «Абитуриент Сидоров получил четверку», i4или3 – количество информации в сообщении «Абитуриент Иванов не сдал  экзамен на отлично», I — информационный объем зрительного сообщения о полученной оценки абитуриентом Сидоровым, к – показатель определенной оценки, р3, р4, р5 – вероятности выставления троек, четверок и пятерок соответственно, р4или3 – вероятность выставления оценки не отлично   Краткая запись условия i4или3=3-log27 бита   Основные формулы: Решение   i4=2 бита I — ? iк = log2 3 1 , р +
p
3
к р4 + р5 = 1 , р = Кк ,
К
к
об   (*) I = — å 1 pk log2 pk .   Найдем вероятности р5 и р4:   3-log27= log2 1 p4или3 Þ р4или 3 = 1      =  7 Þ                       Þ 23- log 2 7        8   p5 = 1- р4или3

= 1- 7 =  1 ,

8     8   аналогично р4 = 1 Þ = 1 —  1 —  1 =  5 . 4        3               8    4    8   Подставляем полученные вероятности в формулу (*)   Ответ: 1,3 бит.

I = — ( 5 × log 5 +

8        2 8 1 × log 1 + 4         2 4 1 × log 8 1) = 1,3(бит) 2 8   Таковы в самых общих чертах принципиальные основы классической теории информации. Она дает полезный аппарат, позволяющий решать ряд важных практических задач (например в теории связи при кодировании речи или изображений). Однако этот аппарат не универсальный, и множество ситуаций не укладывается в шенноновскую модель. Отметим, что далеко не всегда можно заранее (до сообщения) установить перечень возможных состояний системы и вычислить их вероятности. Например, вряд ли можно численно оценить вероятность того, что в нашей солнечной системе существует еще одна — десятая — планета. Тем не менее, с точки зрения обычного здравого смысла (а не нарушать его — естественное требование к теории) ясно, что сообщение об открытии новой планеты должно нести очень большую информацию, но оценить ее в битах не удается. Другой пример. Допустим, что система радиолокационных станций ведет наблюдение за воздушным пространством с целью обнаружения самолета противника. Система А, за которой ведется наблюдение, может быть в одном из двух состояний: А1 — противник есть; А2 — противника нет. Выяснение, в каком из них именно она находится, в рамках классической теории в лучшем случае принесло бы нам информацию один бит, равную информации о том, какой стороной вверх упала монета. Совершенно ясно, что по своей важности первое сообщение несравненно больше второго, но оценить его в рамках классической теории невозможно.Таким образом, основным недостатком классической теории информации, ограничивающим ее применение, является то, что она, занимаясь только формальной («знаковой» или «буквенной») стороной сообщений, оставляет в стороне их ценность и важность, вообще — содержание. Заполните таблицу:
«!» «?»
 
Рассмотрите следующую ситуацию: Имеется шахматная доска, на одну из клеток которой поставлена фигура (слон). Предположим, что все клетки выбираются с одинаковой вероятностью. Определим информацию, заключенную в сообщении о том, где стоит слон. У системы А (слон) 64 равновероятных состояния; ее энтропия равна:     Значит, сообщение, полностью устраняющее неопределенность состояния системы (указание, где стоит слон), должно содержать ровно шесть битов информации. А из этого следует, что положение слона можно точно выяснить с помощью не более чем шести вопросов. Попробуйте их сформулировать. Решите следующие задачи:
  1. Известно, что в ящике лежат 20 шаров. Из них 10 — черных, 4 — белых, 4
— желтых и 2 — красных. Какое количество информации несёт сообщения о цвете вынутого шара?
  1. У скупого рыцаря в сундуке золотые, серебряные и медные монеты. Каждый вечер он извлекает из сундука одну из монет, любуется ею, икладет обратно в сундук. Информационный объем сообщения «Из сундука извлечена золотая монета» равен трем битам. Количество информации, содержащееся в сообщении «Из сундука извлечена серебряная монета», равно двум битам. Определите информационный объем зрительного сообщения о достоинстве вынутой монеты.
    1. В сейфе банкира Богатеева лежат банкноты достоинством 1, 10 или 100 талеров каждая. Банкир раскрыл свой сейф и наугад вытащил из него одну банкноту. Информационный объем сообщения «Из сейфа взята банкнота достоинством в 10 талеров» равен 3 бита. Количество информации, содержащееся в сообщении «Из сейфа взята банкнота достоинством не в
    100 талеров», равно 3-log25 бит. Определите информационный объем зрительного сообщения о достоинстве вынутой банкноты.
  Тема 2.3.
  1. Вероятность взятия чёрного шара равна 10/20 = 0,5, белого — 4/20 = 0,2, жёлтого такая же — 0,2, красного — в 2 раза меньше — 0,1.
Значит, если мы взяли чёрный шар, мы получили кол-во информации log2(1/0,5) = log2(2) = 1 бит, если белый, то log2(1/0,2) = log2(5) = 2,3219 бит если жёлтый, то столько же 2,3219 бит если красный, то log2(1/0,1) = log2(10) = 3,3219 бит
3.  

или напишите нам прямо сейчас

Написать в WhatsApp Написать в Telegram

О сайте
Ссылка на первоисточник:
https://www.lpk31.ru
Поделитесь в соцсетях:

Оставить комментарий

Inna Petrova 18 минут назад

Нужно пройти преддипломную практику у нескольких предметов написать введение и отчет по практике так де сдать 4 экзамена после практики

Иван, помощь с обучением 25 минут назад

Inna Petrova, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Коля 2 часа назад

Здравствуйте, сколько будет стоить данная работа и как заказать?

Иван, помощь с обучением 2 часа назад

Николай, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Инкогнито 5 часов назад

Сделать презентацию и защитную речь к дипломной работе по теме: Источники права социального обеспечения. Сам диплом готов, пришлю его Вам по запросу!

Иван, помощь с обучением 6 часов назад

Здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Василий 12 часов назад

Здравствуйте. ищу экзаменационные билеты с ответами для прохождения вступительного теста по теме Общая социальная психология на магистратуру в Московский институт психоанализа.

Иван, помощь с обучением 12 часов назад

Василий, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Анна Михайловна 1 день назад

Нужно закрыть предмет «Микроэкономика» за сколько времени и за какую цену сделаете?

Иван, помощь с обучением 1 день назад

Анна Михайловна, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Сергей 1 день назад

Здравствуйте. Нужен отчёт о прохождении практики, специальность Государственное и муниципальное управление. Планирую пройти практику в школе там, где работаю.

Иван, помощь с обучением 1 день назад

Сергей, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Инна 1 день назад

Добрый день! Учусь на 2 курсе по специальности земельно-имущественные отношения. Нужен отчет по учебной практике. Подскажите, пожалуйста, стоимость и сроки выполнения?

Иван, помощь с обучением 1 день назад

Инна, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Студент 2 дня назад

Здравствуйте, у меня сегодня начинается сессия, нужно будет ответить на вопросы по русскому и математике за определенное время онлайн. Сможете помочь? И сколько это будет стоить? Колледж КЭСИ, первый курс.

Иван, помощь с обучением 2 дня назад

Здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Ольга 2 дня назад

Требуется сделать практические задания по математике 40.02.01 Право и организация социального обеспечения семестр 2

Иван, помощь с обучением 2 дня назад

Ольга, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Вика 3 дня назад

сдача сессии по следующим предметам: Этика деловых отношений - Калашников В.Г. Управление соц. развитием организации- Пересада А. В. Документационное обеспечение управления - Рафикова В.М. Управление производительностью труда- Фаизова Э. Ф. Кадровый аудит- Рафикова В. М. Персональный брендинг - Фаизова Э. Ф. Эргономика труда- Калашников В. Г.

Иван, помощь с обучением 3 дня назад

Вика, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Игорь Валерьевич 3 дня назад

здравствуйте. помогите пройти итоговый тест по теме Обновление содержания образования: изменения организации и осуществления образовательной деятельности в соответствии с ФГОС НОО

Иван, помощь с обучением 3 дня назад

Игорь Валерьевич, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Вадим 4 дня назад

Пройти 7 тестов в личном кабинете. Сооружения и эксплуатация газонефтипровод и хранилищ

Иван, помощь с обучением 4 дня назад

Вадим, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Кирилл 4 дня назад

Здравствуйте! Нашел у вас на сайте задачу, какая мне необходима, можно узнать стоимость?

Иван, помощь с обучением 4 дня назад

Кирилл, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Oleg 4 дня назад

Требуется пройти задания первый семестр Специальность: 10.02.01 Организация и технология защиты информации. Химия сдана, история тоже. Сколько это будет стоить в комплексе и попредметно и сколько на это понадобится времени?

Иван, помощь с обучением 4 дня назад

Oleg, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Валерия 5 дней назад

ЗДРАВСТВУЙТЕ. СКАЖИТЕ МОЖЕТЕ ЛИ ВЫ ПОМОЧЬ С ВЫПОЛНЕНИЕМ практики и ВКР по банку ВТБ. ответьте пожалуйста если можно побыстрее , а то просто уже вся на нервяке из-за этой учебы. и сколько это будет стоить?

Иван, помощь с обучением 5 дней назад

Валерия, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Инкогнито 5 дней назад

Здравствуйте. Нужны ответы на вопросы для экзамена. Направление - Пожарная безопасность.

Иван, помощь с обучением 5 дней назад

Здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Иван неделю назад

Защита дипломной дистанционно, "Синергия", Направленность (профиль) Информационные системы и технологии, Бакалавр, тема: «Автоматизация приема и анализа заявок технической поддержки

Иван, помощь с обучением неделю назад

Иван, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru

Дарья неделю назад

Необходимо написать дипломную работу на тему: «Разработка проекта внедрения CRM-системы. + презентацию (слайды) для предзащиты ВКР. Презентация должна быть в формате PDF или формате файлов PowerPoint! Институт ТГУ Росдистант. Предыдущий исполнитель написал ВКР, но работа не прошла по антиплагиату. Предыдущий исполнитель пропал и не отвечает. Есть его работа, которую нужно исправить, либо переписать с нуля.

Иван, помощь с обучением неделю назад

Дарья, здравствуйте! Мы можем Вам помочь. Прошу Вас прислать всю необходимую информацию на почту и написать что необходимо выполнить. Я посмотрю описание к заданиям и напишу Вам стоимость и срок выполнения. Информацию нужно прислать на почту info@the-distance.ru