Дәріс 5-6. Шеннон энтропиясының мәні. Семантикалық ақпарат. Энтропия түсінігі және оның негізгі қасиеттері. Шартты энтропия.

Дискретті кездейсоқ шаманың энтропиясы – бұл берілген дискретті кездейсоқ шама мәнін байланыс каналы арқылы жіберетін биттің орташа көлемінің минимумы.

Мысалды қарастырайық(бәйге). Бәйгеге ұтыс ықтималдылықтары бірдей 4 ат қатысады, яғни әрбір аттың ұту ықтималдылығы 1/4-ке тең. Ұтатын аттың номеріне тең Х дискретті кездейсоқ шамасын енгіземіз. Мұна НХ=2. Әрбір айналым сайын байланыс каналы арқылы ұтқан ат номері туралы 2 биттік ақпарат жіберу жеткілікті. Ат номерін келесідей кодтаймыз:1-00,2-01,3-10,4-11.Егер Х-тің берілген мәнін кодтайтын мәлімет ұзындығын қайтаратын L(X) функциясын енгізсек, онда математикалық күтімі ML(X) –Х-ті кодтайтын мәліметтің орташа ұзындығы. L-ді формальды түрде L(X)= len(code(X)) 2 функциясы арқылы анықтауға болады, мұндағы Х-тің әр мәніне code(X) сәйкесінше биттік код қояды және бірмәнді болады, ал len кез келген нақты кодқа ұзындығын бит түрінде қайтарады. L- бұл дискретті кездейсоқ шамадағы функция, яғни бұл да дискретті кездейсоқ шама. Бұл мысалда ML(X)=HX.

Х дискретті кездейсоқ шамасы келесідей үлестірілген болсын

яғни, 1-ші номерлі ат-озық. Онда

Ат номерлерін кодтаймыз: 1-0,2-10,3-110,4-111, яғни , әрбір код келесі кодтың префиксі болмауы үшін (мұндай кодтауды префикстік деп атайды).16 айналымда орташа есеппен 1-ші ат 12 рет, 2-ші - 2 рет, 3-ші - 1 рет және 4-ші -1 рет ұтуы керек. Осыған байланысты жеңімпаз туралы мәліметтің орташа ұзындығы (1*12+2*2+3*1+3*1)/16=1.375 бит/сим тең және математикалық күтімі L(X).Шынымен,L(X) қазір ықтималдылықты келесі түрде үлестірумен беріледі:

Бұдан

Сонымен, ML(X)>HX.

Қарастырылған екі жағдай үшін кодтаудың бұдан да тиімді түрі жоқ екенін дәлелдеуге болады.

Ақпарат мөлшері туралы Шеннон энтропиясының көзқарасқа сәйкес келетінін, психологиялық реакцияның орташа уақытын анықтау тәсілінде көрсетуге болады. Бұл тәжірибеде адамның көзінше N лампочканың біреуі жағылады, ол қайсысы екенін көрсету керек. Әрбір лампочка ықтималдылықпен жанатындай бірнеше тексеріс жүргізіледі(мұндағы i-лампочка номері). Тәжірибеден өтушінің дұрыс жауап беруі үшін кететін орташа уақыты, өзіміз ойлағандай N лампочканың санына емес, - энтропия көлеміне пропорционал. Бұл тәжірибеде адам ақпарат көп алған сайын, соғұрлым оны өңдеу уакыты да ұзақ болады, сәйкесінше оған деген реакция да.

Қолданылған әдебиеттердің тізімі: 1-5

1. Чисар И., Кернер Я. Теория информации— М.: Мир, 1985.

2. Шеннон К. Работы по теории информации и кибернетики — М., Издательство иностранной литературы, 1963.

3. Яглом А., Яглом И. Вероятность и информация — М.; Наука, 1973.

4. Введение в криптографию /Под общей редакцией В. В. Ященко. — М.: МЦНМО: "ЧеРо", 2000.

5. Джордж Ф. Основы кибернетики — М.: Радио и Связь, 1984.