Praktyczne zastosowania
Błędy w testach A/B: korelacja nie dowodzi przyczynowości
Zaktualizowano: Autor: Andrzej Niemiec11 min czytania
Testy A/B bez randomizacji i wielokrotne testowanie prowadzą do fałszywych wniosków. Poznaj pięć błędów i jak prawidłowo zaprojektować eksperyment.
Spis treści
Czym różni się test A/B od porównania przed–po?
Test A/B to eksperyment randomizowany, w którym użytkownicy są losowo przypisywani do wariantu A lub B w tym samym czasie. Porównanie przed–po to obserwacja sprzedaży przed zmianą i po zmianie, bez losowego przydziału. Różnica jest kluczowa: test A/B pozwala na wnioskowanie przyczynowe, porównanie przed–po – tylko na obserwację korelacji [1].
Wiele firm myli te dwa podejścia. Przykład: firma obniża cenę produktu w poniedziałek i widzi wzrost sprzedaży we wtorek. Wnioskuje, że obniżka spowodowała wzrost. Tymczasem wzrost mógł wynikać z wypłat, kampanii konkurencji, dnia tygodnia, dostępności towaru lub zmian w ruchu organicznym. Bez grupy kontrolnej – produktu o starej cenie w tym samym okresie – nie można odseparować wpływu ceny od innych czynników [2].
Pięć najczęstszych błędów w testach A/B
Błąd 1: Wielokrotne testowanie i wybór korzystnego segmentu
Jeśli testujesz wiele wariantów, metryk lub segmentów, ryzyko znalezienia fałszywego zwycięzcy rośnie wykładniczo. Przykład: testujesz 10 wariantów przycisku. Przy poziomie istotności 5%, średnio jeden wariant będzie wyglądać jak zwycięzca, choć różnica wynika z przypadku [4].
Problem pogarsza się, gdy wybierasz segment po fakcie. Jeśli test nie pokazuje ogólnego zwycięzcy, ale widać, że wariant B wygrał wśród użytkowników z Warszawy, to obserwacja tego segmentu post-hoc zwiększa ryzyko błędu. Segment może być artefaktem szumu statystycznego, a nie rzeczywistą różnicą [5].
Błąd 2: Zatrzymanie testu zbyt wcześnie
Manualnie monitorujesz wyniki i widzisz, że wariant B ma 60% konwersji vs 50% dla wariantu A. Decydujesz się zatrzymać test i wdrożyć wariant B. Problem: przy małej próbie różnica może być przypadkowa. Jeśli czekasz, aż próba się powiększy, wynik może się wyrównać [5].
Fenomen ten nosi nazwę "winner's curse" – wybrany zwycięzca zawyża prawdziwy efekt. Badania pokazują, że testy zatrzymane wcześnie na podstawie obserwacji wyników dają wyniki 20–50% wyższe niż rzeczywisty efekt [4].
Błąd 3: Błędna jednostka randomizacji
Randomizujesz użytkowników, ale analizujesz każde odsłonięcie strony jako niezależną obserwację. Problem: jeden użytkownik może zobaczyć wariant A kilka razy, co zawyża liczbę obserwacji i zaniża niepewność. Prawidłowo: randomizujesz użytkowników, a następnie analizujesz na poziomie użytkownika [5].
Inny błąd: randomizujesz sesje zamiast użytkowników. Jeden użytkownik w różnych sesjach może trafić do obu wariantów, co psuje porównanie.
Błąd 4: Brak kontroli jakości pomiaru
Przed interpretacją wyników trzeba sprawdzić:
- Sample-ratio mismatch: czy liczba użytkowników w wariancie A i B jest zbliżona do 50:50? Jeśli nie, może być błąd w przydziale.
- Brakujące zdarzenia: czy wszystkie konwersje są rejestrowane? Błąd telemetryczny dotykający różnie wariantu A i B unieważnia wynik.
- Różnice w urządzeniach i kanałach: czy warianty A i B mają podobny rozkład użytkowników mobilnych, desktopowych, z wyszukiwarki i mediów społecznych?
Błędy pomiaru mogą całkowicie zmienić wynik [4].
Błąd 5: Brak definicji minimalnego istotnego efektu
Jeśli nie wiesz, jaki wzrost konwersji byłby dla ciebie opłacalny, nie możesz prawidłowo zaplanować testu. Przykład: wzrost konwersji o 0,1% jest statystycznie istotny, ale wymaga próby 100 tys. użytkowników. Czy to warte czasu i kosztów? Bez wcześniejszej definicji minimalnego efektu biznesowego nie wiesz [5].
Jak prawidłowo zaprojektować test A/B?
Krok 1: Zdefiniuj hipotezę i metrykę
Hipoteza: "Zmiana koloru przycisku z niebieskiego na czerwony zwiększy konwersję". Metryka: liczba kliknięć na przycisk podzielona przez liczbę odsłonięć strony. Okres testu: 2 tygodnie. Minimalny istotny efekt: wzrost o 5%.
Bez tych definicji test będzie chaotyczny.
Krok 2: Oblicz wymaganą wielkość próby
Wielkość próby zależy od:
- Bazowej konwersji (np. 10%).
- Minimalnego istotnego efektu (np. 5% wzrost, czyli do 10,5%).
- Poziomu istotności (zwykle 5%).
- Mocy testu (zwykle 80%, czyli 20% ryzyka błędu II rodzaju).
Narzędzia online (np. Optimizely, VWO) obliczają to automatycznie. Przykład: jeśli bazowa konwersja to 10%, a chcesz wykryć wzrost do 10,5%, potrzebujesz ~32 tys. użytkowników w każdym wariancie [5].
Krok 3: Randomizuj prawidłowo
Losowo przydziel użytkowników do wariantu A lub B w momencie pierwszej wizyty. Upewnij się, że przydzielenie jest trwałe – użytkownik zawsze widzi ten sam wariant. Sprawdź, czy rozkład jest zbliżony do 50:50.
Krok 4: Nie zatrzymuj testu wcześnie
Czekaj, aż próba osiągnie zaplanowaną wielkość. Jeśli wyniki są niejasne, przedłuż test, ale nie zatrzymuj go na podstawie obserwacji.
Krok 5: Raportuj z przedziałem ufności
Zamiast "wariant B wygrał z 95% pewnością", napisz "wariant B zwiększył konwersję o 5% (przedział ufności 95%: 2–8%)". Przedział ufności pokazuje, jaki jest rzeczywisty efekt [5].
Czy można wnioskować o przyczynowości bez randomizacji?
Tak, ale z ograniczeniami. Metody quasi-eksperymentalne, takie jak difference-in-differences, wykorzystują naturalne zmiany w otoczeniu biznesowym. Przykład: porównujesz sprzedaż produktów, które straciły rabat (ze względu na zmianę przepisów), ze sprzedażą produktów, które rabatów nie miały. Jeśli obie grupy miały podobne trendy przed zmianą, różnica w trendach po zmianie może wskazywać na efekt rabatu [2].
Ale metody quasi-eksperymentalne wymagają:
- Wiarygodnej grupy kontrolnej.
- Podobnych trendów przed zmianą.
- Braku innych zmian w tym samym okresie.
W praktyce biznesowej są to założenia trudne do spełnienia.
Najczęstsze pytania
Ile czasu powinien trwać test A/B?
Minimum 1–2 tygodnie, aby uwzględnić zmienność dzień-do-dnia i tydzień-do-tygodnia. Jeśli konwersja jest niska (poniżej 1%), test może trwać miesiąc. Nie ma uniwersalnej reguły – zależy od wielkości próby i zmienności metryki.
Czy mogę testować wiele wariantów jednocześnie?
Tak, ale ryzyko fałszywych zwycięzców rośnie. Jeśli testujesz 5 wariantów, wymagana próba jest ~5 razy większa niż dla testu A/B. Alternatywa: testy sekwencyjne, które zatrzymują się, gdy wynik jest wystarczająco pewny [5].
Co to jest CUPED i czy zastępuje randomizację?
CUPED to metoda redukcji wariancji, która wykorzystuje dane sprzed eksperymentu. Zmniejsza szerokość przedziałów ufności, ale nie zastępuje randomizacji. Wymaga korelacji między zmienną bazową a wynikiem [7].
Czy mogę testować na małej próbie?
Mała próba oznacza duży przedział ufności i wysokie ryzyko błędu. Jeśli masz 100 użytkowników, test A/B może nie wykazać nawet dużego efektu. Lepiej: zbierz więcej danych lub użyj metod Bayesowskich, które lepiej radzą sobie z małymi próbami [5].
Dlaczego mój test A/B pokazał zwycięzcę, ale efekt nie utrzymał się?
Powody: wielokrotne testowanie, błędy pomiaru, zmiana warunków (np. konkurencja, sezonowość), efekt placebo (zespół wie o teście i zmienia zachowanie) lub po prostu przypadek. Zawsze replikuj wynik na nowej próbie przed wdrożeniem [4].
Źródła
- Seeing Causality In Google Analytics Data (Bounteous, 2018)
- Adapting Causal Inference to Real-World Constraints (Concordusa, 2024)
- A/B test - Analytics Help (Google Support, 2024)
- Chapter 7 A/B Testing: Beyond Randomized Experiments (Alex Deng, 2023)
- Chapter 8 Statistical Analysis of A/B Tests (Alex Deng, 2023)
- Top 27 Causal Inference Interview Questions (DataInterview, 2026)
- From Augmentation to Decomposition: A New Look at CUPED in 2023 (arXiv, 2023)
- Variance Reduction Using In-Experiment Data (Alex Deng, 2023)
- 3 powody, dlaczego większość case study z testów A/B zawierają błędy (Conversion.pl, 2024)
- 5 popularnych błędów w testach A/B (Damian Rams, 2024)
- Testy A/B i analiza danych statystycznych w biznesie internetowym (TakaOto, 2024)
- 4 najczęstsze błędy przy testach A/B (Conversion.pl, 2024)
- Jak unikać błędów w testach A/B? Poznaj 5 pułapek (Cube Group, 2024)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji