2.3 Передача інформації без завад

Ємність каналу (англ. сhannel сapacity) – гранична швидкість передавання інформації цим каналом:

,

де q – кількість елементарних інформативних повідомлень, що передається за час Т.

Якщо сигнали передаються зі швидкістю S імпульсів за секунду, тобто:

,

де τ – час передавання одного імпульсу;

то за час T можна передати n імпульсів:

.

Для двійкового каналу, що пропускає лише елементарні сигнали «0» та «1», максимальна кількість комбінацій елементарних сигналів, яка може бути передана за час Т, складає:

.

Тоді ємність бінарного каналу зв’язку визначається:

,

тобто, чим меншою буде тривалість імпульсу , тим більшою буде ємність каналу С. Для недвійкового каналу:

,

де m – кількість символів у алфавіті;

і ємність каналу:

.

Ємність каналу зв’язку С може бути виражена у бітах на символ. Якщо до входу каналу підключене джерело повідомлень з ентропією на символ, що дорівнює ємності каналу зв’язку, то джерело інформаційно узгоджене з каналом. Якщо ентропія джерела менша ніж ємність каналу, то ємність каналу використовується не повністю (канал інформаційно недовантажений).

Узгодження джерела з каналом є досить складною справою і реалізовується за допомогою статистичного кодування. К. Шеннон показав, що інформаційне узгодження, яке досягається статистичним кодуванням, аналогічне енергетичному узгодженню внутрішнього опору електричного генератора з навантаженням за допомогою трансформатора для передавання від генератора максимальної потужності. Тут маємо на увазі узгодження джерела з каналом зв’язку за допомогою пристрою кодування з метою максимального використання ємності каналу.

     2.4 Передача інформації із завадами

Завади (англ. interference) або шуми (англ. noise) у каналі зв’язку суттєво ускладнюють передавання інформації. На приймальному боці немає впевненості, що той чи інший елемент повідомлення прийняті у тому вигляді, в якому вони були передані. Тому під час передавання каналом із завадами виникають дві проблеми:

– підвищення ефективності передавання;

– підвищення вірогідності (завадозахищеності) передавання.

Ці проблеми до певної міри протилежні.

Якщо за рахунок впливу шуму був прийнятий елемент повідомлення j, в той час, як був переданий елемент i, то збільшення інформації можна визначити:

,

де p_i – апріорна імовірність передавання елемента i;

p_j(i) – умовна імовірність приймання елемента j в той час, як був переданий елемент i.

Якщо шуми досить великі , повідомлення, що приймається, не вміщує інформації і приймання його не змінює початкових знань. За умови відсутності шуму: p_j(i) = 1, якщо i = j, або p_j(i) = 0, якщо j ≠ і. В цьому випадку:

.

Пропускна здатність каналу з шумами (у двійкових одиницях на символ) дорівнює середньому за всіма i та j значенню приросту інформації:

,

де – ентропія джерела;

– ентропія повідомлень на приймальному боці;

, – умовні ентропії.

Для каналу з шумами швидкість передавання інформації (у бітах за секунду):

,

де S – кількість символів, що передаються за секунду.

.

Тоді:

.                         (2.4)

Якщо швидкість передавання інформації каналу складає 1000 біт/с, а дія завад викликає помилку у 1% символів, то за умови, що імовірності передавання «0» та «1» однакові, ентропія є максимальною Н = 1 (біт/символ). Імовірність того, що під час передавання «0» приймається «1» складає p₁ (0) = 0,01. Відповідно до цього інші умовні імовірності будуть p₀ (0) = 0,99; p₀ (1) = 0,01; p₁ (1) = 0,99. Розраховані ентропії складають: H_i = 1, Н_i (j) = H_j (i) = 0,081. Згідно з (2.4) швидкість передавання інформації каналом із шумами:

v = 1000 ⋅ (1 – 0,081) = 919 (біт/с).

Таким чином швидкість передавання інформації під впливом шуму зменшується більш різко, ніж кількість правильно переданих символів.

К. Шеннон доказав, що якщо ентропія джерела інформації не перевищує пропускної здатності каналу, тобто Н ≤ С, то існує код, який забезпечує передавання інформації каналом із шумами з якою завгодно малою частотою помилок або з якою завгодно малою невірогідністю. При Н > С такого коду не існує, тобто передавання без помилок неможливе. К. Шеннон визначив також максимальну швидкість передавання інформації:

     , (2.5)

де f_m – смуга частот каналу;

P_c – середня потужність сигналу;

Р_ш – середня потужність білого шуму.

Таким чином можна передавати інформацію, якщо швидкість передавання інформації не перевищує максимальної швидкості каналу. Для випадку, коли середня потужність білого шуму набагато більша за середню потужність сигналу, тобто P_c >> P_ш, у формулі (2.5) одиницею можна знeхтувати:

.

Максимальна кількість інформації, яка може бути передана за певний час Т:

. ( 2.6)

Оскільки ця величина може бути зображена у вигляді паралелепіпеда, то вона отримала назву об’єму сигналу. Таким чином можна змінювати окремі параметри сигналу, не змінюючи його об’єм. Якщо до виразу (2.6) підставити потенційні можливості каналу передавання (час, на який канал надається користувачу, виділена йому смуга частот і максимальна потужність сигналу, що може передаватися каналом), то параметр матиме назву ємність каналу. Для передавання сигналу каналом зв’язку необхідно щоб об’єм сигналу був не менший, ніж ємність каналу, тобто необхідно виконати умову:

V_c ≤ V _k . (2.7)

Якщо ж дана умова не виконується, то сигнал передати цим каналом зв’язку неможливо. Може бути ситуація, при якій дана умова виконується, але смуга частот, на яку розрахований канал, менша за смугу частот сигналу або час, який виділено на передавання інформації менший, ніж необхідно, тобто умова (2.7) розпадається на систему:

.

Одним з найбільш поширених способів перетворення сигналу є варіювання величинами f_c та T_c за їх незмінним добутком. Потужність сигналу, як правило, не збільшується.

1. Що являють собою статична та динамічна форми існування інформації?

2. Що являють собою міри інформації за Хартлі та Шенноном?

3. Які одиниці вимірювання інформації?

4. Що таке ентропія?

5. Що таке ємність каналу передавання?

6. Що таке інформаційне узгодження джерела повідомлення з каналом зв’язку?

7. В чому полягає статистичне кодування? Які його переваги та недоліки?

8. Що розуміють під поняттям “шум”?

9. Чим визначається пропускна здатність каналу зі шумами?

10. Чим визначається швидкість передавання інформації для каналу з шумами?

11. Яка максимальна швидкість передавання інформації?

12. Що таке об’єм сигналу? Як об’єм сигналу пов’язаний з ємністю каналу?