У квантовій теорії інформації квантова відносна ентропія є міра відмінності між двома
.
KLD D KL ( P ∥ Q ), яку також називають відносною ентропією, є метрика, яка зазвичай використовується в теорії інформації для оцінки відмінностей між розподілами ймовірностей [23]. Зокрема, він враховує втрату інформації, якщо даний розподіл ймовірностей P використовується для наближення іншого розподілу ймовірностей Q.
Коротше кажучи, відносна ентропійна «відстань» між станом сигналу ρ1 і сигналом «нульової вартості» ρ0 дає найбільшу можливу кількість бітів на одиницю вартості, яку можна надіслати через канал — «рентабельність» каналу.
Перехресна ентропія: випадкова змінна порівнює справжній розподіл A з наближеним розподілом B. Відносна ентропія: випадкова змінна порівнює справжній розподіл A з тим, як наближений розподіл B відрізняється від A у кожній точці вибірки (розбіжність або різниця).
Обчисліть ентропію/відносну ентропію Шеннона заданого розподілу(ів). Якщо подано лише ймовірності pk, ентропія Шеннона обчислюється як H = -sum(pk * log(pk)) . Якщо qk не є None, тоді обчисліть відносну ентропію D = сума (pk * log(pk / qk)) .
Поняття квантової ентропії. У широкому сенсі поняття ентропії є використовується для кількісного визначення рівня випадковості або невизначеності в стані системи. Існує не один, а ціле сімейство ентропій, і деякі з них відіграють ключову роль у різних областях квантової теорії інформації.