Принцип мінімуму крос-ентропії полягає в тому узагальнення- ція, яка застосовується у випадках, коли попереднє розповсюдження того. оцінки qt відомі на додаток до обмежень.
Принцип мінімуму крос-ентропії стверджує це ми повинні вибрати розподіл p, який відповідає моментним обмеженням (1) і нормалізаційним обмеженням (2), вимагаючи найменшої додаткової інформації; тобто ми повинні вибрати той, який у певному сенсі найближчий до q.
Принцип мінімального виробництва ентропії говорить про те, що стаціонарний стан незворотного процесу, тобто стан, в якому термодинамічні змінні не залежать від часу, характеризується мінімальним значенням швидкості виробництва ентропії.
Мінімальний крос-ентропійний поріг (MCET) становить один із широко використовуваних середніх методів сегментації зображень; воно базується на класичному середньому, яке залишається стабільним і обмеженим значенням.
Перехресна ентропія — популярна функція втрат, яка використовується в машинному навчанні для вимірювання продуктивності моделі класифікації. А саме це вимірює різницю між виявленим розподілом ймовірностей моделі класифікації та прогнозованими значеннями.
Принцип мінімальної крос-ентропії (мінімальна спрямована розбіжність, мінімум дискримінаційної інформації) загальний метод висновку щодо невідомої щільності ймовірності, коли існує попередня оцінка щільності та нова інформація у формі обмежень на очікувані значення.