Содержательный подход к измерению имнформации

 

Информация для  человека — это  знания.  Значит,  сообщение содержит ненулевую информацию,  если  оно  пополняет знания человека. Сообщение  несет информацию  для  человека, если со- держащиеся в нем сведения являются для него новыми и понятными. Поэтому для разных людей одно и то же сообщение содержит информацию,  а может ее и не содержать.

Информация — это  мера уменьшения  неопределенности знаний.  Если некоторое  сообщение  приводит  к  уменьшению   неопределенности наших знаний, то такое сообщение содержит информацию.  За  единицу измерения информации принимается
1 бит — уменьшение неопределенности знаний человека в 2 раза. Подбросим монету. Так  как у монеты две стороны,  то при бросании может произойти одно из двух равновероятностных событий: орел или  решка.
Есть всего два варианта возможного результата бросания монеты,  поэтому  перед подбрасыванием монеты  неопределенность знаний о результате равна двум. Результат бросания монеты несет
1 бит информации.
1 бит — минимальная единица измерения количества информации. Но существуют  и другие:
1 байт = 8 бит;
1 Кбайт = 1024 байт;
1 Мбайт = 1024 Кбайт;
1 Гбайт  = 1024 Мбайт;
1 Тб (терабайт)  = 1024 Гбайт;
1 Эб (эксабайт) =  

Обозначим буквой N количество равновероятностных событий(неопределенность знаний о некотором событии), i — количество информации, полученной в результате совершения события.
Количество информации (i), содержащееся в сообщении о том, что произошло одно из N равновероятных событий, можно определить  из формулы Хартли: .

 


Лекция добавлена 25.02.2014 в 22:48:48