При перевірці статистичних гіпотез є помилка типу I або хибнопозитивний результат відмова від нульової гіпотези, коли вона дійсно вірна. Наприклад, може бути засуджена невинна особа. Помилка типу II або хибно-негативний результат — це нездатність відхилити нульову гіпотезу, яка насправді є хибною.
Помилка типу 1 (помилковий результат) виникає, коли нульову гіпотезу неправильно відхилено, що свідчить про різницю там, де її немає. Під час A/B-тестування це може означати неправильний висновок про те, що нова функція ефективна, хоча це не так.
Імовірність вчинення помилки 2 типу вказується під час перевірки статистичних гіпотез як (бета). Це означає можливість неправильного визначення відсутності різниці або впливу між групами чи методами лікування, коли насправді є.
Помилка I типу виникає, коли в дослідженні ми відкидаємо нульову гіпотезу та помилково заявляємо, що дослідження виявило значні відмінності, хоча різниці справді не було. Іншими словами, це еквівалентно тому, що групи або змінні відрізняються, хоча насправді вони не відрізняються або мають хибні позитивні результати.
Помилка типу I (хибно-позитивна) виникає, якщо дослідник відхиляє нульову гіпотезу, яка насправді є істинною в сукупності; помилка типу II (помилково-негативна) виникає, якщо досліднику не вдається відхилити нульову гіпотезу, яка насправді є хибною в популяції.
Інша помилка, яку ми можемо зробити, приймаючи рішення щодо тесту, – це помилковий негатив (також називається помилкою типу II), який відбувається, коли дані не вказують на суттєву різницю між лікуванням і контролем, але насправді різниця є.