Praktyczne zastosowania
Testy przechodzą, agent działa źle — jak testować agentów AI
Zaktualizowano: Autor: Andrzej Niemiec7 min czytania
Test sprawdza komunikat, a agent może nie wykonać zadania. Jak testować agentów AI: ślad wykonania, pass@1 i pass^k, wzorce AgentAssert i monitoring produkcji.
Spis treści
- Dlaczego zielony test nie dowodzi, że agent wykonał zadanie?
- Czym różni się test agenta AI od testu funkcji?
- Jakie wzorce testowania agentów opisuje AgentAssert?
- Jak mierzyć niezawodność, gdy każdy przebieg może wyglądać inaczej?
- Co powinien zawierać ślad wykonania agenta?
- Czy LLM-as-a-judge wystarczy do oceny agenta?
- Co monitorować na produkcji?
- Które ścieżki negatywne trzeba przetestować?
- Od czego zacząć w tym tygodniu?
- Najczęstsze pytania
- Źródła
Dlaczego zielony test nie dowodzi, że agent wykonał zadanie?
Test sprawdza komunikat, a nie stan świata. Agent może zwrócić przekonujące podsumowanie bez czytania pliku, bez wywołania API i bez wykonania operacji, którą opisuje. Wynik testu jest zielony, a zadanie pozostaje niewykonane. Opisuje to artykuł Biresha Patela z 28 maja 2026 roku, opublikowany w DZone [1].
Przykład z tego tekstu jest prosty. Agent miał przeczytać plik, a test sprawdzał tylko, czy odpowiedź nie jest pusta. Agent wygenerował wiarygodne podsumowanie bez użycia narzędzia i test przeszedł [1]. Ten wzorzec wraca w każdym systemie, w którym ocena kończy się na tekście odpowiedzi. Dlatego w części agenci AI i automatyzacja pytanie o testy wraca razem z pytaniem o uprawnienia i ślad wykonania.
Czym różni się test agenta AI od testu funkcji?
Agent nie jest funkcją, która zwraca tekst. Trzeba oceniać wybór narzędzia, argumenty wywołania, kolejność kroków, uprawnienia, retry i zachowanie po błędzie [1][2]. Funkcja zwraca wartość i kończy pracę, a agent podejmuje decyzje po drodze.
Klasyczne QA nie traci sensu. Testy deterministyczne, buildy, linters i testy regresji pozostają potrzebnymi bramkami [1][3]. Zmienia się zakres oceny: obok kodu trzeba sprawdzać trajektorię działania agenta.
Jakie wzorce testowania agentów opisuje AgentAssert?
Repozytorium agent-assert zbiera pięć wzorców: wywołanie narzędzia, kontrakty zachowania, weryfikację wieloetapowego śladu, egzekwowanie granic i obserwowalność błędów [2]. Ten sam materiał w DZone nazywa je referencyjną implementacją opartą na Playwright, a nie komercyjnym produktem [1].
Każdy wzorzec odpowiada na inne pytanie. Wywołanie narzędzia sprawdza, czy agent użył właściwej funkcji. Kontrakty zachowania pilnują, czy wynik mieści się w ustalonych regułach. Weryfikacja śladu odtwarza kolejność kroków. Egzekwowanie granic blokuje działania poza zakresem uprawnień. Obserwowalność błędów opisuje, co poszło nie tak i w którym miejscu.
Matcher kontraktów w tym repozytorium jest heurystyczny, oparty na słowach kluczowych i wzorcach, bez drugiego modelu [2]. To wystarcza do szybkich kontroli, ale nie zastępuje dowodu wykonania.
Jak mierzyć niezawodność, gdy każdy przebieg może wyglądać inaczej?
Jedna udana próba nie dowodzi niezawodności. Warto raportować pass@1, czyli sukces w pierwszej próbie, oraz pass^k, czyli konsekwentny sukces w wielu niezależnych próbach [4][5]. Pierwsza metryka pokazuje, jak często agent trafia od razu. Druga pokazuje, czy potrafi trafić za każdym razem.
Zestaw scenariuszy powinien obejmować zadania o różnym ryzyku. Inaczej wynik uśrednia się do liczby, która nie mówi nic o najgorszych przypadkach. Ocena wielokrotna jest jedynym sposobem, żeby odróżnić agenta stabilnego od takiego, który czasem trafia [4][5].
Porównanie trzech podejść do oceny pokazuje, gdzie leży różnica.
| Kryterium | Asercja na tekście odpowiedzi | Test śladu wykonania | Ocena modelem |
|---|---|---|---|
| Co sprawdza | brzmienie odpowiedzi | narzędzia, argumenty i kolejność kroków | jakość semantyczną tekstu |
| Czy wykryje opis bez wykonania | nie | tak, jeśli ślad jest kompletny | nie zawsze |
| Koszt utrzymania | niski | średni, rośnie z liczbą scenariuszy | wysoki, dochodzi koszt modelu |
| Główne ryzyko | kruchość i fałszywe zielone | luki w logowaniu | sędzia powtarza błąd agenta |
Tabela nie rozstrzyga, którego podejścia użyć. Wskazuje, że asercja na tekście i ocena modelem mierzą tekst, a test śladu mierzy działanie. W praktyce potrzebne są wszystkie trzy warstwy, bo każda łapie inny typ błędu [1][4].
Co powinien zawierać ślad wykonania agenta?
Ślad musi wystarczyć do odtworzenia decyzji. Powinien obejmować wersję promptu i konfiguracji, decyzje agenta, wywołania narzędzi z argumentami, wyniki, błędy, retry, czas i koszt [1][2]. Bez tego nie da się odróżnić błędu rozumowania od błędu danych i od błędu narzędzia.
Logowanie całej pętli jest częścią QA, nie dodatkiem. Jeśli agent podjął złą decyzję, a log zawiera tylko finalny tekst, diagnoza produkcji zamienia się w zgadywanie. Ten sam ślad jest podstawą regresji, bo pozwala porównać przebieg przed zmianą modelu i po niej. Więcej o granicach między gotowym a własnym rozwiązaniem jest w tekście o agentic workflow w produkcji.
Czy LLM-as-a-judge wystarczy do oceny agenta?
Nie. Model sędzia ocenia to, co widzi, czyli najczęściej tekst odpowiedzi. Może pomóc przy jakości semantycznej, ale powinien być wsparty deterministycznymi kontrolami i rzeczywistymi artefaktami wykonania [2]. Repozytorium agent-assert samo przyznaje, że jego matcher jest heurystyczny [2]. Ocena modelem jest użyteczna jako jedna z warstw, nie jako jedyny dowód [4].
Sędzia ma jeszcze jedno ograniczenie. Ocenia odpowiedź, a nie skutek. Jeśli agent zmyślił wykonanie zadania, sędzia widzi spójny i dobrze napisany tekst. Dopiero sprawdzenie stanu systemu pokazuje, że operacja nigdy się nie odbyła [1].
Co monitorować na produkcji?
Monitoring jest częścią QA. Trzeba mierzyć task-success, poprawność wywołań narzędzi, liczbę kroków i pętli, koszt, opóźnienie, naruszenia polityk, eskalacje do człowieka oraz rozbieżność między deklaracją agenta a faktycznym stanem systemu [3][4].
Najważniejsza jest ostatnia pozycja. Agent może deklarować sukces, a system nie odnotować zmiany. Taka rozbieżność jest sygnałem wcześniej niż błąd zgłoszony przez użytkownika. Kontrola uprawnień i eskalacji do człowieka jest omówiona w tekście ORKA vs. chaos.
Które ścieżki negatywne trzeba przetestować?
Ścieżki negatywne pokazują, jak agent zachowuje się poza szczęśliwym scenariuszem. Lista jest konkretna: brak pliku, niedostępne API, błędne dane, timeout, częściowa awaria, odmowa wykonania i próba użycia narzędzia spoza zakresu [1][6].
Część takich przypadków wygląda jak halucynacja, a jest skutkiem danych. Asystent AI poleca klientowi produkt, którego nie ma na stanie. Zanim uznamy to za halucynację modelu, trzeba sprawdzić, czy strona pozwalała mu ustalić prawdę [6]. Praktyczny przykład blokady dostępu do danych opisuje tekst o tym, jak zablokować agentowi dostęp do firmowych faktur.
Od czego zacząć w tym tygodniu?
Polecamy zacząć od pięciu scenariuszy, które najczęściej kończą się błędem na produkcji. Dla każdego trzeba opisać kryterium sukcesu na poziomie intencji, a nie tekstu odpowiedzi, i dopisać sprawdzenie stanu świata po zakończeniu [1][2]. Pierwszy krok nie wymaga nowego narzędzia: wystarczy log śladu i asercja na efektach. Dopiero potem sensowne jest rozbudowanie zestawu o ocenę modelem i pełny monitoring [4].
Najczęstsze pytania
Czy klasyczne testy jednostkowe nadal mają sens przy agentach AI?
Tak. Testy jednostkowe, buildy, linters i testy regresji pozostają potrzebnymi bramkami [1][3]. Nie obejmują jednak wyboru narzędzi ani kolejności kroków, więc nie wystarczają jako jedyna kontrola. Najlepiej działa układ warstw: deterministyczne testy kodu, testy śladu i ocena jakości tam, gdzie tekst ma znaczenie.
Ile razy powtarzać test agenta, żeby wynik coś znaczył?
Pojedynczy przebieg nie wystarcza. Warto raportować pass@1 i pass^k, czyli sukces w jednej próbie oraz konsekwentny sukces w wielu próbach [4][5]. Liczba powtórzeń zależy od kosztu i ryzyka scenariusza. Dla ścieżek wysokiego ryzyka sensowna jest większa liczba prób, bo właśnie tam pojedynczy sukces myli najbardziej.
Czy AgentAssert to gotowe narzędzie do wdrożenia?
Nie. To referencyjna implementacja oparta na Playwright i zbiór wzorców, a nie komercyjny produkt [1][2]. Można z niego korzystać jako z punktu wyjścia i przenieść wzorce do własnego zestawu testów. Matcher kontraktów jest heurystyczny, więc wymaga uzupełnienia o sprawdzanie stanu świata.
Jak wykryć, że agent zmyślił wykonanie zadania?
Trzeba sprawdzić efekt w systemie, a nie tylko treść odpowiedzi. Jeśli zadaniem było utworzenie rekordu, test powinien sprawdzić, czy rekord istnieje. Jeśli agent miał wywołać API, test powinien sprawdzić wywołanie i argumenty [1][2]. Dopiero ślad wykonania razem ze stanem świata daje dowód, że zadanie zostało wykonane.
Źródła
- AI Agent Tests Are Passing, But Your Agent Is Still Broken (DZone, 2026)
- agent-assert — referencyjna implementacja testów agentów (GitHub)
- Techniques (Thoughtworks Technology Radar)
- AI Agent Evaluation (2026): Metrics, Frameworks, and Production Failures (Morph, 2026)
- Beyond Accuracy: A Multi-Dimensional Framework for Evaluating Enterprise Agentic AI Systems (arXiv, 2025)
- Czyj to bug? Gdy klientem jest agent AI (testerzy.pl)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji