Информации - это что такое? На чем он базируется? Какие цели преследует и задачи выполняет? Обо всём этом мы и поговорим в рамках данной статьи.

Общая информация

В каких случаях применяется семантический способ измерения информации? Используется сущность информации, интересует содержательная сторона полученного сообщения - вот показания для его применения. Но для начала давайте дадим изъяснение того, что он собой представляет. Следует отметить, что семантический способ измерения информации - это трудно формализованный подход, который до сих пор полностью не сформировался. Используется он для того, чтобы измерять количество смысла в данных, которые были получены. Иными словами, какой объем информации из полученной является необходимым в данном случае. Такой подход используется для определения содержательной стороны получаемых сведений. И если мы говорим про семантический способ измерения информации, используется понятие тезауруса, которое неразрывно связано с рассматриваемой темой. Что же оно собой представляет?

Тезаурус

Хочется сделать небольшое введение и дать ответ на один вопрос про семантический способ измерения информации. Кем введен он? Предложил использовать этот метод основатель кибернетики Норберт Винер, но значительное развитие он получил под влиянием нашего соотечественника А. Ю. Шрейдера. Чем же является название используется для обозначения совокупности сведений, которые есть у получателя информации. Если соотнести тезаурус с содержанием сообщения, которое поступило, то можно выяснить, насколько оно снизило неопределённость. Хочется исправить одну ошибку, под влияние которой часто попадает большое количество людей. Так, они считают, что семантический способ измерения информации введен Клодом Шенноном. Неизвестно, как именно возникло это заблуждение, но это мнение неверно. Клод Шеннон ввёл статистический способ измерения информации, «наследником» которого и считается семантический.

Графический подход для определения объема смысловой информации в полученном сообщении

Для чего нужно что-то рисовать? Семантический способ измерения использует такую возможность для наглядного предоставления данных о полезности данных в виде легко понимаемых рисунков. Что же это значит на практике? Для пояснения положения дел строят зависимость в виде графика. Если у пользователя отсутствуют знания о сути сообщения, которое было получено (равняется нулю), то объем семантической информации будет равен этому же значению. Можно ли найти оптимальное значение? Да! Так называется тезаурус, где объем семантической информации максимальный. Давайте рассмотрим небольшой пример. Допустим, пользователю поступило сообщение, написанное на незнакомом иностранном языке, или же человек может прочитать, что там написано, но это для него уже не является новостью, поскольку всё это известно. В таких случаях говорят о том, что в сообщении содержится ноль семантической информации.

Историческое развитие

Вероятно, об этом следовало поговорить немного выше, но наверстать упущенное ещё не поздно. Первоначально семантический способ измерения информации введен Ральфом Хартли в 1928 году. Ранее упоминалось, что в качестве основателя часто упоминают Клода Шеннона. Почему же возникла такая путаница? Дело в том, что, хотя семантический способ измерения информации и был введён Ральфом Хартли в 1928 году, обобщили его в 1948 году именно Клод Шеннон и Уоррен Уивер. После этого основоположник кибернетики Норберт Винер сформировал идею тезаурусного метода, которая получила наибольшее признание в виде меры, разработанной Ю. И. Шнейдером. Следует отметить, что для того чтобы разобраться в этом, необходим достаточно высокий уровень знаний.

Результативность

Что же нам даёт тезаурусный метод на практике? Он является реальным подтверждением тезиса о том, что информация обладает таким свойством, как относительность. При этом следует отметить, что она обладает относительной (или же субъективной) ценностью. Для того чтобы можно было объективно оценивать научную информацию, ввели понятие общечеловеческого тезауруса. Его степень изменения и показывает значительность знаний, которые получает человечество. При этом нельзя точно сказать, какой конечный результат (или же промежуточный) можно будет получить от информации. Возьмём, к примеру, компьютеры. Вычислительная техника создавалась на основе ламповой технологии и битового состояния каждого структурного элемента и первоначально использовалась для осуществления расчетов. Сейчас же почти у каждого человека есть что-то, что работает на основании данной технологии: радио, телефон, компьютер, телевизор, ноутбук. Даже современные холодильники, плиты и умывальники содержат в себе немного электроники, в основе работы которой лежит информация об облегчении использования человеком данных бытовых устройств.

Научный подход

Где же изучается семантический способ измерения информации? Информатика - вот та наука, которая занимается различными аспектами этого вопроса. В чём же заключается особенность? В основу способа положено использование системы «истина/ложь», или же битовая система «единица/ноль». Когда поступает определённая информация, то она разбивается на отдельные блоки, которые именуются подобно единицам речи: слова, слоги и тому подобное. Каждый блок получает определённое значение. Давайте рассмотрим небольшой пример. Рядом стоят два друга. Один обращается ко второму со словами: «Завтра у нас выходной». Когда дни для отдыха - знает каждый. Поэтому ценность этой информации нулевая. Но если второй скажет, что он завтра работает, то для первого это будет неожиданность. Ведь в таком случае может оказаться, что будут нарушены планы, которые строил один человек, например, сходить поиграть в боулинг или же покопаться в мастерской. Каждую часть описанного примера можно описать с помощью единиц и нулей.

Оперирование понятиями

Но что же используется ещё, кроме тезауруса? Что ещё нужно знать, чтобы понимать семантический способ измерения информации? Основные понятия, которые дополнительно можно изучить ещё, - это знаковые системы. Под ними понимают средства выражения смысла, вроде правил интерпретации знаков или же их сочетаний. Давайте рассмотрим ещё один пример из информатики. Компьютеры оперируют условными нулями и единицами. По сути, это низкое и высокое напряжение, которое подаётся на компоненты техники. Причем передают они эти единицы и нули без конца и края. Как же делать различие между ними технике? Ответ на это был найден - прерывания. Когда передаётся эта же самая информация, то получаются различные блоки вроде слов, словосочетаний и отдельных значений. В устной человеческой речи для разбивки данных на отдельные блоки тоже используются паузы. Они настолько незаметны, что большинство из них мы замечаем на «автомате». В письме для этой цели служат точки и запятые.

Особенности

Давайте затронем ещё и тему свойств, которые есть у семантического способа измерения информации. Мы уже знаем, что так называется специальный подход, которые оценивает важность информации. Можно ли говорить, что данные, которые будут оцениваться таким способом, будут объективными? Нет, это не верно. Информация является субъективной. Давайте рассмотрим это на примере школы. Есть отличник, который идёт впереди утверждённой программы, и среднестатистический середнячок, который изучает то, что излагается на занятиях. Для первого большинство информации, которую он будет получать в школе, будет представлять достаточно слабый интерес, поскольку он это уже знает и не впервые слышит/читает. Поэтому на субъективном уровне для него это будет не очень ценно (за счёт разве что отдельных замечаний учителя, которые он подметил за время изложения своего предмета). Тогда как середнячок о новой информации что-то слыхал только отдаленно, поэтому для него ценность данных, которые будут излагаться на уроках, на порядок больше.

Заключение

Следует отметить, что в информатике семантический способ измерений информации - это не единственный вариант, в рамках которого можно решать имеющиеся задачи. Выбор должен зависеть от поставленных целей и присутствующих возможностей. Поэтому, если тема заинтересовала или же в ней существует потребность, то можно только настоятельно порекомендовать изучить её более подробно и узнать, какие ещё способы измерения информации, кроме семантического, существуют.

Для измерения информации вводятся два параметра: количество информации I и объем данных V д.

Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности.

Синтаксическая адекватность. Она отображает формально-структурные характеристики информации и не затрагивает ее смыслового содержания. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации, надежность и точность преобразования этих кодов и т. п.

Информацию, рассматриваемую только с синтаксических позиций, обычно называют данными, так как при этом не имеет значения смысловая сторона.

Семантическая (смысловая) адекватность. Эта форма определяет степень соответствия образа объекта и самого объекта. Семантический аспект предполагает учет смыслового содержания информации. На этом уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи. В информатике смысловые связи устанавливаются между кодами представления информации. Эта форма служит для формирования понятий и представлений, выявления смысла, содержания информации и ее обобщения.

Прагматическая (потребительская) адекватность. Она отражает отношение информации и ее потребителя, соответствие информации цели управления, которая на ее основе реализуется. Проявляются прагматические свойства информации только при наличии единства информации (объекта), пользователя и цели управления.

Прагматический аспект рассмотрения связан с ценностью, полезностью использования информации при выработке потребителем решения для достижения своей цели. С этой точки зрения анализируются потребительские свойства информации. Эта форма адекватности непосредственно связана с практическим использованием информации, с соответствием ее целевой функции деятельности системы.

Каждой форме адекватности соответствует своя мера количества информации и объема данных (рис. 2.1).

Рис. 2.1. Меры информации

2.2.1. Синтаксическая мера информации

Синтаксическая мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных V д в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

• в двоичной системе счисления единица измерения — бит ( bit — binary digit — двоичный разряд);
• в десятичной системе счисления единица измерения — дит (десятичный разряд).

Пример. Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных V д = 8 бит.

Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных V д = 6 дит.

Количество информации определяется по формуле:

где H (α) - энтропия, т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Энтропия системы Н (α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где p i - вероятность того, что система находится в i -м состоянии.

Для случая, когда все состояния системы равновероятны, ее энтропия определяется соотношением

где N - число всевозможных отображаемых состояний;

m - основание системы счисления (разнообразие символов, применяемых в алфавите);

n - число разрядов (символов) в сообщении.

2.2.2. Семантическая мера информации

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя .

Тезаурус — это совокупность сведений, которыми располагает пользователь или система.

В зависимости от соотношений смыслового содержания информации S и тезауруса пользователя S p изменяется количество семантической информации I с , воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис.2.2:

• при S p =0 пользователь не воспринимает, не понимает поступающую информацию;
• при S p → ∞ пользователь все знает, поступающая информация ему не нужна.

Рис. 2.2. Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса I с = f (S p )

При оценке семантического (содержательного) аспекта информации необходимо стремиться к согласованию величин S и S p .

Относительной мерой количества семантической информации может служить коэффициент содержательности С , который определяется как отношение количества семантической информации к ее объему:

2.2.3. Прагматическая мера информации

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.

Для сопоставления введенные меры информации представим в табл. 2.1.

Таблица 2.1. Единицы измерения информации и примеры

приходящуюся в среднем на одно состояние, называют энтропией дискретного источника инфор-

мации.

H p i logp i

i 1 N

Если снова ориентироваться на измерение неопределённости в двоичных единицах, то основание логарифма следует принять равным двум.

H p ilog 2 p i

i 1 N

При равновероятных выборах все

и формула (5) преобразуется в формулу Р. Хартли (2):

Предложенная мера была названа энтропией не случайно. Дело в том, что формальная структура выражения (4) совпадает с энтропией физической системы, определённой ранее Больцманом. Согласно второму закону термодинамики энтропия замкнутого пространства определяется выра-

рость, то

можно записать как

p iln

i 1 N

Данная формула полностью совпадает с (4)

Суть данной меры заключается в том, что при равновероятном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объёма, чем в случае с неравновероятным выбором.

Меры информации семантического уровня

Для измерения смыслового содержания информации, т.е. её количества на семантическом уровне, наибольшее распространение получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Действительно, для понимания и использования полученной информации получатель должен обладать определенным запасом знаний. Полное незнание предмета не позволяет извлечь полезную информацию из принятого сообщения об этом предмете. По мере роста знаний о предмете растёт и количество полезной информации, извлекаемой из сообщения.

Если назвать имеющиеся у получателя знания о данном предмете «тезаурусом» (т.е. неким сводом слов, понятий, названий объектов, связанных смысловыми связями), то количество информации, содержащееся в некотором сообщении, можно оценить степенью изменения индивидуального тезауруса под воздействием данного сообщения.

Тезаурус - совокупность сведений, которыми располагает пользователь или система.

Иными словами, количество семантической информации, извлекаемой получателем из поступающих сообщений, зависит от степени подготовленности его тезауруса для восприятия такой информации.

В зависимости от соотношений между смысловым содержанием информации и тезаурусом пользователя изменяется количество семантической информации, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рисунке 3. Рассмотрим два предельных случая, когда количество семантической информации равно

Рисунок 3 - Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса ()

Максимальное количество семантической информации потребитель приобретает при согла-

совании её смыслового содержания со своим тезаурусом (), когда поступающая информация понятна пользователю и несёт ему ранее неизвестные (отсутствующие в его тезаурусе) сведения.

Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного.

При оценке семантического (содержательного) аспекта информации необходимо стремиться к согласованию величин и.

Относительной мерой количества семантической информации может служить коэффициент содержательности, который определяется как отношение количества семантической информации к её объёму:

Ещё один подход к семантическим оценкам информации, развиваемый в рамках науковедения, заключается в том, что в качестве основного показателя семантической ценности информации, содержащейся в анализируемом документе (сообщении, публикации), принимается количество ссылок на него в других документах. Конкретные показатели формируются на основе статистической обработки количества ссылок в различных выборках.

Меры информации прагматического уровня

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Она также величина относительная, обусловленная особенностями использования этой информации в той или иной системе.

Одним из первых отечественных ученых к этой проблеме обратился А. А. Харкевич, который предложил принять за меру ценности информации количество информации, необходимое для достижения поставленной цели, т.е. рассчитывать приращение вероятности достижения цели. Так, если

Таким образом, ценность информации при этом измеряется в единицах информации, в данном случае в битах.

Выражение (7) можно рассматривать как результат нормировки числа исходов. В пояснение на рисунке 4 приведены три схемы, на которых приняты одинаковые значения числа исходов 2 и 6 для точек 0 и 1 соответственно. Исходное положение - точка 0. На основании полученной информации совершается переход в точку 1. Цель обозначена крестиком. Благоприятные исходы изображены линиями, ведущими к цели. Определим ценность полученной информации во всех трёх случаях:

В примере б) получена отрицательная ценность информации (отрицательная информация). Такую информацию, увеличивающую исходную неопределённость и уменьшающую вероятность достижения цели, называют дезинформацией. Таким образом, в примереб) мы получили дезинформацию в 1,58 двоичной единицы.

УРОВНИ ПРОБЛЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ

При реализации информационных процессов всегда происходит перенос информации в пространстве и времени от источника ин­формации к приемнику (получателю). При этом для передачи ин­формации используют различные знаки или символы, например естественного или искусственного (формального) языка, позволя­ющие выразить ее в некоторой форме, называемой сообщением.

Сообщение - форма представления информации в виде со­вокупности знаков (символов), используемая для передачи.

Сообщение как совокупность знаков с точки зрения семиотики (от греч. semeion - знак, признак) - науки, занимающейся иссле­дованием свойств знаков и знаковых систем, - может изучаться на трех уровнях :

1) синтаксическом, где рассматриваются внутренние свойства сообщений, т. е. отношения между знаками, отражающие структуру данной знаковой системы. Внешние свойства изу­чают на семантическом и прагматическом уровнях;

2) семантическом, где анализируются отношения между знака­ми и обозначаемыми ими предметами, действиями, качест­вами, т. е. смысловое содержание сообщения, его отношение к источнику информации;

3) прагматическом, где рассматриваются отношения между со­общением и получателем, т. е. потребительское содержание сообщения, его отношение к получателю.

Таким образом, учитывая определенную взаимосвязь проблем передачи информации с уровнями изучения знаковых систем, их разделяют на три уровня: синтаксический, семантический и праг­матический.

Проблемы синтаксического уровня касаются создания теоре­тических основ построения информационных систем, основные показатели функционирования которых были бы близки к предель­но возможным, а также совершенствования существующих систем с целью повышения эффективности их использования. Это чисто технические проблемы совершенствования методов передачи со­общений и их материальных носителей - сигналов. На этом уров­не рассматривают проблемы доставки получателю сообщений как совокупности знаков, учитывая при этом тип носителя и способ представления информации, скорость передачи и обработки, раз­меры кодов представления информации, надежность и точность преобразования этих кодов и т. п., полностью абстрагируясь от смыслового содержания сообщений и их целевого предназначения. На этом уровне информацию, рассматриваемую только с синтак­сических позиций, обычно называют данными, так как смысловая сторона при этом не имеет значения.

Современная теория информации исследует в основном пробле­мы именно этого уровня. Она опирается на понятие «количество информации», являющееся мерой частоты употребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений. В связи с этим иногда говорят, что современная теория информации находится на синтаксическом уровне.

Проблемы семантического уровня связаны с формализацией и учетом смысла передаваемой информации, определения степени соответствия образа объекта и самого объекта. На данном уровне анализируются те сведения, которые отражает информация, рас­сматриваются смысловые связи, формируются понятия и представ­ления, выявляется смысл, содержание информации, осуществля­ется ее обобщение.

Проблемы этого уровня чрезвычайно сложны, так как смысло­вое содержание информации больше зависит от получателя, чем от семантики сообщения, представленного на каком-либо языке.

На прагматическом уровне интересуют последствия от получе­ния и использования данной информации потребителем. Пробле­мы этого уровня связаны с определением ценности и полезности использования информации при выработке потребителем решения для достижения своей цели. Основная сложность здесь состоит в том, что ценность, полезность информации может быть совершен­но различной для различных получателей и, кроме того, она зави­сит от ряда факторов, таких, например, как своевременность ее до­ставки и использования. Высокие требования в отношении скорости доставки информации часто диктуются тем, что управляющие воз­действия должны осуществляться в реальном масштабе времени, т. е. со скоростью изменения состояния управляемых объектов или процессов. Задержки в доставке или использовании информации могут иметь катастрофические последствия.

Как уже отмечалось, понятие информации можно рассматривать при различных ограничениях, накладываемых на ее свойства, т.е. при различных уровнях рассмотрения. В основном выделяют три уровня – синтаксический, семантический и прагматический. Соответственно на каждом из них для определения количества информации применяют различные оценки.

На синтаксическом уровне для оценки количества информации используют вероятностные методы, которые принимают во внимание только вероятностные свойства информации и не учитывают другие (смысловое содержание, полезность, актуальность и т.д.). Разработанные в середине XXв. математические и, в частности, вероятностные методы позволили сформировать подход к оценке количества информации как к мере уменьшения неопределенности знаний.

Такой подход, называемый также вероятностным, постулирует принцип: если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно утверждать, что такое сообщение содержит информацию. При этом сообщения содержат информацию о каких-либо событиях, которые могут реализоваться с различными вероятностями.

Формулу для определения количества информации для событий с различными вероятностями и получаемых от дискретного источника информации предложил американский ученый К. Шеннон в 1948г. Согласно этой формуле количество информации может быть определено следующим образом:

Где I – количество информации; N – количество возможных событий (сообщений); p i – вероятность отдельных событий (сообщений).

Определяемое с помощью формулы (2.1) количество информации принимает только положительное значение. Поскольку вероятность отдельных событий меньше единицы, то соответственно выражение log 2 ,- является отрицательной величиной и для получения положительного значения количества информации в формуле (2.1) перед знаком суммы стоит знак «минус».

Если вероятность появления отдельных событий одинаковая и они образуют полную группу событий, т. е.:

то формула (2.1) преобразуется в формулу Р. Хартли:

В формулах (2.1) и (2.2) отношение между количеством информации I и соответственно вероятностью (или количеством) отдельных событий выражается с помощью логарифма.

Применение логарифмов в формулах (2.1) и (2.2) можно объяснить следующим образом. Для простоты рассуждений воспользуемся соотношением (2.2). Будем последовательно присваивать аргументу N значения, выбираемые, например, из ряда чисел: 1, 2, 4, 8, 16, 32, 64 и т.д. Чтобы определить, какое событие из N равновероятных событий произошло, для каждого числа ряда необходимо последовательно производить операции выбора из двух возможных событий.

Так, при N = 1 количество операций будет равно 0 (вероятность события равна 1), при N = 2, количество операций будет равно 1, при N = 4 количество операций будет равно 2, при N = 8, количество операций будет равно 3 и т.д. Таким образом, получим следующий ряд чисел: 0, 1, 2, 3, 4, 5, 6 и т.д., который можно считать соответствующим значениям функции I в соотношении (2.2).

Последовательность значений чисел, которые принимает аргумент N , представляет собой ряд, известный в математике как ряд чисел, образующих геометрическую прогрессию, а последовательность значений чисел, которые принимает функция I , будет являться рядом, образующим арифметическую прогрессию. Таким образом, логарифм в формулах (2.1) и (2.2) устанавливает соотношение между рядами, представляющими геометрическую и арифметическую прогрессии, что достаточно хорошо известно в математике.

Для количественного определения (оценки) любой физической величины необходимо определить единицу измерения, которая в теории измерений носит название меры .

Кодирование производится с помощью специальных алфавитов (знаковых систем). В информатике, изучающей процессы получения, обработки, передачи и хранения информации с помощью вычислительных (компьютерных) систем, в основном используется двоичное кодирование, при котором используется знаковая система, состоящая из двух символов 0 и 1. По этой причине в формулах (2.1) и (2.2) в качестве основания логарифма используется цифра 2.

Исходя из вероятностного подхода к определению количества информации эти два символа двоичной знаковой системы можно рассматривать как два различных возможных события, поэтому за единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза (до получения событий их вероятность равна 0,5, после получения – 1, неопределенность уменьшается соответственно: 1/0,5 = 2, т.е. в2 раза). Такая единица измерения информации называется битом (от англ. слова binary digit – двоичная цифра). Таким образом, в качестве меры для оценки количества информации на синтаксическом уровне, при условии двоичного кодирования, принят один бит.

Следующей по величине единицей измерения количества информации является байт, представляющий собой последовательность, составленную из восьми бит, т.е.:

1 байт = 2 3 бит = 8 бит.

В информатике также широко используются кратные байту единицы измерения количества информации, однако в отличие от метрической системы мер, где в качестве множителей кратных единиц применяют коэффициент 10n, где n = 3, 6, 9 и т.д., в кратных единицах измерения количества информации используется коэффициент 2n. Выбор этот объясняется тем, что компьютер в основном оперирует числами не в десятичной, а в двоичной системе счисления.

Кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 210 байт = 1024 байт;

1 мегабайт (Мбайт) = 210 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 210 Мбайт = 1024 Мбайт;

1 терабайт (Тбайт) = 210 Гбайт = 1024 Гбайт;

1 петабайт (Пбайт) = 210 Тбайт = 1024 Тбайт;

1 экзабайт (Эбайт) = 210 Пбайт = 1024 Пбайт.

Единицы измерения количества информации, в названии которых есть приставки «кило», «мега» и т.д., с точки зрения теории измерений не являются корректными, поскольку эти приставки используются в метрической системе мер, в которой в качестве множителей кратных единиц используется коэффициент 10 n , где n = 3, 6, 9 и т.д. Для устранения этой некорректности международная организация International Electrotechnical Commission , занимающаяся созданием стандартов для отрасли электронных технологий, утвердила ряд новых приставок для единиц измерения количества информации: киби (kibi), меби (mebi), гиби (gibi), теби (tebi), пети (peti), эксби (exbi). Однако пока используются старые обозначения единиц измерения количества информации, и требуется время, чтобы новые названия начали широко применяться.

Вероятностный подход используется и при определении количества информации, представленной с помощью знаковых систем. Если рассматривать символы алфавита как множество возможных сообщений N, то количество информации, которое несет один знак алфавита, можно определить по формуле (2.1). При равновероятном появлении каждого знака алфавита в тексте сообщения для определения количества информации можно воспользоваться формулой (2.2).

Количество информации, которое несет один знак алфавита, тем больше, чем больше знаков входит в этот алфавит. Количество знаков, входящих в алфавит, называется мощностью алфавита. Количество информации (информационный объем), содержащееся в сообщении, закодированном с помощью знаковой системы и содержащем определенное количество знаков (символов), определяется с помощью формулы:

где V – информационный объем сообщения; I = log 2 N , информационный объем одного символа (знака); К – количество символов (знаков) в сообщении; N – мощность алфавита (количество знаков в алфавите).