Przejdź do treści

Praktyczne zastosowania

Błędy w testach A/B: korelacja nie dowodzi przyczynowości

Zaktualizowano: Autor: Andrzej Niemiec11 min czytania

Testy A/B bez randomizacji i wielokrotne testowanie prowadzą do fałszywych wniosków. Poznaj pięć błędów i jak prawidłowo zaprojektować eksperyment.

Błędy w testach A/B: korelacja nie dowodzi przyczynowości
Spis treści
  1. Czym różni się test A/B od porównania przed–po?
  2. Pięć najczęstszych błędów w testach A/B
  3. Jak prawidłowo zaprojektować test A/B?
  4. Czy można wnioskować o przyczynowości bez randomizacji?
  5. Najczęstsze pytania
  6. Źródła

Czym różni się test A/B od porównania przed–po?

Test A/B to eksperyment randomizowany, w którym użytkownicy są losowo przypisywani do wariantu A lub B w tym samym czasie. Porównanie przed–po to obserwacja sprzedaży przed zmianą i po zmianie, bez losowego przydziału. Różnica jest kluczowa: test A/B pozwala na wnioskowanie przyczynowe, porównanie przed–po – tylko na obserwację korelacji [1].

Wiele firm myli te dwa podejścia. Przykład: firma obniża cenę produktu w poniedziałek i widzi wzrost sprzedaży we wtorek. Wnioskuje, że obniżka spowodowała wzrost. Tymczasem wzrost mógł wynikać z wypłat, kampanii konkurencji, dnia tygodnia, dostępności towaru lub zmian w ruchu organicznym. Bez grupy kontrolnej – produktu o starej cenie w tym samym okresie – nie można odseparować wpływu ceny od innych czynników [2].

Pięć najczęstszych błędów w testach A/B

Błąd 1: Wielokrotne testowanie i wybór korzystnego segmentu

Jeśli testujesz wiele wariantów, metryk lub segmentów, ryzyko znalezienia fałszywego zwycięzcy rośnie wykładniczo. Przykład: testujesz 10 wariantów przycisku. Przy poziomie istotności 5%, średnio jeden wariant będzie wyglądać jak zwycięzca, choć różnica wynika z przypadku [4].

Problem pogarsza się, gdy wybierasz segment po fakcie. Jeśli test nie pokazuje ogólnego zwycięzcy, ale widać, że wariant B wygrał wśród użytkowników z Warszawy, to obserwacja tego segmentu post-hoc zwiększa ryzyko błędu. Segment może być artefaktem szumu statystycznego, a nie rzeczywistą różnicą [5].

Błąd 2: Zatrzymanie testu zbyt wcześnie

Manualnie monitorujesz wyniki i widzisz, że wariant B ma 60% konwersji vs 50% dla wariantu A. Decydujesz się zatrzymać test i wdrożyć wariant B. Problem: przy małej próbie różnica może być przypadkowa. Jeśli czekasz, aż próba się powiększy, wynik może się wyrównać [5].

Fenomen ten nosi nazwę "winner's curse" – wybrany zwycięzca zawyża prawdziwy efekt. Badania pokazują, że testy zatrzymane wcześnie na podstawie obserwacji wyników dają wyniki 20–50% wyższe niż rzeczywisty efekt [4].

Błąd 3: Błędna jednostka randomizacji

Randomizujesz użytkowników, ale analizujesz każde odsłonięcie strony jako niezależną obserwację. Problem: jeden użytkownik może zobaczyć wariant A kilka razy, co zawyża liczbę obserwacji i zaniża niepewność. Prawidłowo: randomizujesz użytkowników, a następnie analizujesz na poziomie użytkownika [5].

Inny błąd: randomizujesz sesje zamiast użytkowników. Jeden użytkownik w różnych sesjach może trafić do obu wariantów, co psuje porównanie.

Błąd 4: Brak kontroli jakości pomiaru

Przed interpretacją wyników trzeba sprawdzić:

  • Sample-ratio mismatch: czy liczba użytkowników w wariancie A i B jest zbliżona do 50:50? Jeśli nie, może być błąd w przydziale.
  • Brakujące zdarzenia: czy wszystkie konwersje są rejestrowane? Błąd telemetryczny dotykający różnie wariantu A i B unieważnia wynik.
  • Różnice w urządzeniach i kanałach: czy warianty A i B mają podobny rozkład użytkowników mobilnych, desktopowych, z wyszukiwarki i mediów społecznych?

Błędy pomiaru mogą całkowicie zmienić wynik [4].

Błąd 5: Brak definicji minimalnego istotnego efektu

Jeśli nie wiesz, jaki wzrost konwersji byłby dla ciebie opłacalny, nie możesz prawidłowo zaplanować testu. Przykład: wzrost konwersji o 0,1% jest statystycznie istotny, ale wymaga próby 100 tys. użytkowników. Czy to warte czasu i kosztów? Bez wcześniejszej definicji minimalnego efektu biznesowego nie wiesz [5].

Jak prawidłowo zaprojektować test A/B?

Krok 1: Zdefiniuj hipotezę i metrykę

Hipoteza: "Zmiana koloru przycisku z niebieskiego na czerwony zwiększy konwersję". Metryka: liczba kliknięć na przycisk podzielona przez liczbę odsłonięć strony. Okres testu: 2 tygodnie. Minimalny istotny efekt: wzrost o 5%.

Bez tych definicji test będzie chaotyczny.

Krok 2: Oblicz wymaganą wielkość próby

Wielkość próby zależy od:

  • Bazowej konwersji (np. 10%).
  • Minimalnego istotnego efektu (np. 5% wzrost, czyli do 10,5%).
  • Poziomu istotności (zwykle 5%).
  • Mocy testu (zwykle 80%, czyli 20% ryzyka błędu II rodzaju).

Narzędzia online (np. Optimizely, VWO) obliczają to automatycznie. Przykład: jeśli bazowa konwersja to 10%, a chcesz wykryć wzrost do 10,5%, potrzebujesz ~32 tys. użytkowników w każdym wariancie [5].

Krok 3: Randomizuj prawidłowo

Losowo przydziel użytkowników do wariantu A lub B w momencie pierwszej wizyty. Upewnij się, że przydzielenie jest trwałe – użytkownik zawsze widzi ten sam wariant. Sprawdź, czy rozkład jest zbliżony do 50:50.

Krok 4: Nie zatrzymuj testu wcześnie

Czekaj, aż próba osiągnie zaplanowaną wielkość. Jeśli wyniki są niejasne, przedłuż test, ale nie zatrzymuj go na podstawie obserwacji.

Krok 5: Raportuj z przedziałem ufności

Zamiast "wariant B wygrał z 95% pewnością", napisz "wariant B zwiększył konwersję o 5% (przedział ufności 95%: 2–8%)". Przedział ufności pokazuje, jaki jest rzeczywisty efekt [5].

Czy można wnioskować o przyczynowości bez randomizacji?

Tak, ale z ograniczeniami. Metody quasi-eksperymentalne, takie jak difference-in-differences, wykorzystują naturalne zmiany w otoczeniu biznesowym. Przykład: porównujesz sprzedaż produktów, które straciły rabat (ze względu na zmianę przepisów), ze sprzedażą produktów, które rabatów nie miały. Jeśli obie grupy miały podobne trendy przed zmianą, różnica w trendach po zmianie może wskazywać na efekt rabatu [2].

Ale metody quasi-eksperymentalne wymagają:

  • Wiarygodnej grupy kontrolnej.
  • Podobnych trendów przed zmianą.
  • Braku innych zmian w tym samym okresie.

W praktyce biznesowej są to założenia trudne do spełnienia.

Najczęstsze pytania

Ile czasu powinien trwać test A/B?

Minimum 1–2 tygodnie, aby uwzględnić zmienność dzień-do-dnia i tydzień-do-tygodnia. Jeśli konwersja jest niska (poniżej 1%), test może trwać miesiąc. Nie ma uniwersalnej reguły – zależy od wielkości próby i zmienności metryki.

Czy mogę testować wiele wariantów jednocześnie?

Tak, ale ryzyko fałszywych zwycięzców rośnie. Jeśli testujesz 5 wariantów, wymagana próba jest ~5 razy większa niż dla testu A/B. Alternatywa: testy sekwencyjne, które zatrzymują się, gdy wynik jest wystarczająco pewny [5].

Co to jest CUPED i czy zastępuje randomizację?

CUPED to metoda redukcji wariancji, która wykorzystuje dane sprzed eksperymentu. Zmniejsza szerokość przedziałów ufności, ale nie zastępuje randomizacji. Wymaga korelacji między zmienną bazową a wynikiem [7].

Czy mogę testować na małej próbie?

Mała próba oznacza duży przedział ufności i wysokie ryzyko błędu. Jeśli masz 100 użytkowników, test A/B może nie wykazać nawet dużego efektu. Lepiej: zbierz więcej danych lub użyj metod Bayesowskich, które lepiej radzą sobie z małymi próbami [5].

Dlaczego mój test A/B pokazał zwycięzcę, ale efekt nie utrzymał się?

Powody: wielokrotne testowanie, błędy pomiaru, zmiana warunków (np. konkurencja, sezonowość), efekt placebo (zespół wie o teście i zmienia zachowanie) lub po prostu przypadek. Zawsze replikuj wynik na nowej próbie przed wdrożeniem [4].

Źródła

  1. Seeing Causality In Google Analytics Data (Bounteous, 2018)
  2. Adapting Causal Inference to Real-World Constraints (Concordusa, 2024)
  3. A/B test - Analytics Help (Google Support, 2024)
  4. Chapter 7 A/B Testing: Beyond Randomized Experiments (Alex Deng, 2023)
  5. Chapter 8 Statistical Analysis of A/B Tests (Alex Deng, 2023)
  6. Top 27 Causal Inference Interview Questions (DataInterview, 2026)
  7. From Augmentation to Decomposition: A New Look at CUPED in 2023 (arXiv, 2023)
  8. Variance Reduction Using In-Experiment Data (Alex Deng, 2023)
  9. 3 powody, dlaczego większość case study z testów A/B zawierają błędy (Conversion.pl, 2024)
  10. 5 popularnych błędów w testach A/B (Damian Rams, 2024)
  11. Testy A/B i analiza danych statystycznych w biznesie internetowym (TakaOto, 2024)
  12. 4 najczęstsze błędy przy testach A/B (Conversion.pl, 2024)
  13. Jak unikać błędów w testach A/B? Poznaj 5 pułapek (Cube Group, 2024)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji