Дифузійні моделі є клас математичних моделей, спрямованих на охоплення поширення інформації чи сигналів у мережі чи колекторі. У НЛП дифузійні моделі використовуються в різноманітних програмах, таких як генерація природної мови, аналіз настроїв, тематичне моделювання та машинний переклад.24 травня 2023 р.
Модель дифузії моделює дані, створені процесом дифузії, за допомогою якого нова дана виконує випадкове блукання з дрейфом через простір усіх можливих даних. Навчена модель дифузії може бути відібрана різними способами з різною ефективністю та якістю.
Дифузійні моделі – глибоке занурення. Як згадувалося вище, модель дифузії складається з прямого процесу (або процесу дифузії), у якому дані (зазвичай зображення) поступово зашумлені, і зворотного процесу (або зворотного процесу розповсюдження), у якому шум перетворюється назад у зразок із цільового розподілу.
Дифузійні моделі досягли великого успіху в моделюванні безперервних модальностей даних, таких як зображення, аудіо та відео, але мали обмежене використання в окремих областях, таких як мова. Недавні спроби адаптувати дифузію до мови представили дифузію як альтернативу існуючим попередньо навченим моделям мови.
Зазвичай використовуються моделі дифузії створювати зображення з тексту. Тим не менш, нещодавні інновації розширили їх використання в глибокому навчанні та генеративному штучному інтелекті для програм, таких як розробка ліків, використання обробки природної мови для створення більш складних зображень і прогнозування вибору людини на основі відстеження очей.
Дифузійна модель — це тип генеративної моделі машинного навчання, яка перетворює випадковий шум у реалістичні дані шляхом їх повторного уточнення. Ось приклади PixelCNN++ для створення зображень, GPT-3.5 для створення тексту та RealNVP для оцінки щільності.