Narzędzia AI
Benchmarki agentów AI: które mierzą pracę, a które tylko wiedzę
Zaktualizowano: Autor: Andrzej Niemiec11 min czytania
Nie ma jednego benchmarku dla agentów AI. Co naprawdę mierzą GAIA, SWE-bench Verified i OSWorld, dlaczego wyniki bywają łamane i jak sprawdzić agenta przed wdrożeniem.
Spis treści
- Czy jeden benchmark wystarczy, żeby ocenić agenta AI?
- Które benchmarki mierzą pracę agenta, a nie samą wiedzę?
- Dlaczego nie wolno porównywać wyników bez opisu konfiguracji?
- Co pokazało złamanie ośmiu benchmarków przez badaczy z Berkeley?
- Na jakie sygnały patrzeć, czytając publiczny wynik?
- Jakie benchmarki wybrać dla obsługi klienta i procesów finansowych?
- Jak zbudować własny test przed wdrożeniem?
- Najczęstsze pytania
- Źródła
Czy jeden benchmark wystarczy, żeby ocenić agenta AI?
Nie wystarczy. Wynik trzeba przypisać do rodzaju pracy: kodowania, korzystania z narzędzi, przeglądarki, komputera lub ogólnego asystenta. Ten sam model wypada inaczej w każdym z tych obszarów, a publikowany odsetek opisuje wyłącznie jeden zestaw próbek i jedną konfigurację. Decyzja o wdrożeniu wymaga kilku testów oraz własnego, odseparowanego sprawdzianu na realnych przypadkach. Sposób dobierania narzędzi do procesów opisujemy w sekcji agenci AI i automatyzacja.
Które benchmarki mierzą pracę agenta, a nie samą wiedzę?
Trzy publiczne testy są dziś najczęściej cytowane, bo każdy obejmuje inny rodzaj pracy. GAIA sprawdza zadania asystenta wymagające rozumowania, multimodalności, przeglądania internetu i używania narzędzi; zestaw zawiera 466 pytań, a odpowiedzi do 300 z nich są utrzymywane prywatnie na potrzeby leaderboardu [1]. SWE-bench Verified to 500 zweryfikowanych zadań naprawy rzeczywistych problemów z repozytoriów GitHub, a wynik oznacza odsetek zadań, dla których wygenerowana poprawka przechodzi testy [2]. OSWorld testuje obsługę prawdziwego środowiska komputerowego i aplikacji, a nie samo odpowiadanie tekstem; oryginalny zestaw obejmuje 369 zadań, przy czym osiem zadań Google Drive może wymagać ręcznej konfiguracji albo zostać wyłączonych [3].
| Kryterium | GAIA | SWE-bench Verified | OSWorld |
|---|---|---|---|
| Co mierzy | rozumowanie, multimodalność, przeglądanie internetu i narzędzia w zadaniach asystenta [1] | naprawę rzeczywistych zgłoszeń z repozytoriów GitHub [2] | obsługę prawdziwego środowiska komputerowego i aplikacji [3] |
| Liczba zadań | 466 pytań, odpowiedzi do 300 prywatnie [1] | 500 zweryfikowanych zadań [2] | 369 zadań w oryginalnym zestawie [3] |
| Jak liczony jest wynik | odsetek poprawnych odpowiedzi | odsetek zadań, w których poprawka przechodzi testy [2] | końcowy stan środowiska po wykonaniu zadania [4] |
| Czego nie pokazuje | kosztu, opóźnienia, bezpieczeństwa działań | halucynacji, kosztu i jakości przekazania sprawy człowiekowi [4] | jakości procesu i kosztu [4] |
| Kiedy go użyć | ogólny asystent badawczy | agent programistyczny | agent obsługujący komputer |
Dlaczego nie wolno porównywać wyników bez opisu konfiguracji?
Ten sam model może uzyskać różne wyniki zależnie od frameworka, pamięci, narzędzi, liczby prób, promptu i limitu czasu. Oficjalny SWE-bench rozdziela wyniki trybu bash-only od wyników dowolnych agentów właśnie dlatego, że konfiguracja wpływa na porównywalność [2]. Liczba podana bez scaffoldu nie mówi nic o tym, co agent faktycznie potrafi.
Benchmarki mierzą sukces zadania, a niekoniecznie jakość procesu. SWE-bench sprawdza przejście testów po zastosowaniu patcha, OSWorld — końcowy stan środowiska [2][4]. Taki wynik nie ujawnia halucynacji, niebezpiecznych działań, kosztu, opóźnienia ani jakości przekazania sprawy człowiekowi [4]. Do tego dochodzi kwestia aktualności: zestawy są wersjonowane, a poprawki i wyłączenia pojedynczych zadań zmieniają punkt odniesienia [3].
Co pokazało złamanie ośmiu benchmarków przez badaczy z Berkeley?
Według opisu badania naukowcy z UC Berkeley złamali osiem benchmarków agentów AI, w tym SWE-bench i GAIA, uzyskując wyniki 73–100% bez rozwiązania zadania [5]. To nie znaczy, że każdy publikowany wynik jest fałszywy, ale pokazuje klasę problemu: jeśli nagroda zależy od przejścia testu, system może nauczyć się obchodzić test zamiast wykonywać pracę. Podobny wniosek płynie z przeglądu ponad 440 powszechnie stosowanych benchmarków, który przeprowadził brytyjski instytut bezpieczeństwa AI z naukowcami z Oksfordu, Stanforda i Berkeley — testy okazały się dziurawe [6]. Osobne analizy pokazują, że benchmarki mogą wręcz uczyć modele zachowań niepożądanych, gdy nagradzana jest tylko zgodność z testem [8]. Zestawienie to uzupełnia badanie, według którego możliwości sztucznej inteligencji bywają przeszacowane, a standardy pomiarowe wprowadzają w błąd [15].
Na jakie sygnały patrzeć, czytając publiczny wynik?
Najpierw sprawdź, czego dokładnie dotyczy liczba: czy to wynik modelu, czy całego agenta z narzędziami i pamięcią. Potem ustal, kto publikuje wynik — producent raportujący własne pomiary nie jest niezależnym audytorem. Dalej sprawdź wersję zestawu i datę, bo zadania są dodawane, poprawiane i wyłączane [2][3]. Na końcu poszukaj kosztu, czasu i odsetka eskalacji — bez nich wysoki wynik nie mówi nic o ekonomii wdrożenia.
- Zakres zadania: kodowanie, przeglądarka, komputer czy ogólny asystent [1][2][3].
- Scaffolding: framework, liczba prób, limit czasu i prompt [2].
- Zakres pomiaru: sukces zadania kontra proces, bezpieczeństwo i koszt [4].
- Proveniencja: wynik niezależny czy self-reported, wraz z wersją zestawu [5][6].
Przeglądy narzędzi i frameworków z 2026 roku pokazują to samo z innej strony: wybór platformy zależy od typu procesu, a nie od jednego rankingu [13]. Gartner prognozuje, że do 2028 roku 33% aplikacji firmowych będzie miało wbudowane agentic AI, wobec mniej niż 1% w 2024 roku [14]. Wzrost skali nie zastąpi jednak testu dopasowanego do zadania.
Jakie benchmarki wybrać dla obsługi klienta i procesów finansowych?
Dla obsługi klienta punktem wyjścia są testy wieloetapowe i narzędziowe: GAIA sprawdza planowanie i korzystanie z narzędzi, OSWorld — pracę w interfejsach aplikacji [1][3]. Dla procesów finansowych same wyniki z tych zestawów nie wystarczą, bo trzeba mierzyć poprawność decyzji, kompletność dokumentów, zgodność z polityką, odsetek eskalacji, fałszywe akceptacje i odrzucenia, ślad audytowy, bezpieczeństwo danych oraz koszt obsługi [9]. Netguru opisuje testowanie przypadków granicznych, danych adversarialnych, monitoring i zgodność regulacyjną jako element procesu wdrożeniowego [9]. To polska firma tworząca oprogramowanie i konsulting cyfrowy z siedzibą w Poznaniu, która oferuje systemy agentowe oraz rozwiązania dla sektora finansowego [9][10][11].
Dla agentów programistycznych sensownym uzupełnieniem SWE-bench jest test dopasowany do przeglądu kodu. Przykładem jest c-CRAB, który zamienia ludzkie komentarze z przeglądu w wykonywalne testy, bo podobieństwo tekstu nie ocenia recenzenta [12]. Zestaw zadań warto dobrać do tego, co agent naprawdę robi w Twoim repozytorium, zamiast opierać się na ogólnym rankingu.
Jak zbudować własny test przed wdrożeniem?
Najbardziej wiarygodna ocena produkcyjna to własny, odseparowany test. Powinien zawierać reprezentatywny zbiór przypadków, golden set, przypadki graniczne i próby prompt injection, a także porównanie z pracą człowieka oraz raport kosztu, czasu i błędów. Publiczny benchmark jest w tym układzie punktem odniesienia, nie dowodem, że agent nadaje się do konkretnego procesu.
Test warto oprzeć na decyzjach, które firma już podejmuje, i na dokumentach, które już przetwarza. Zanim agent wejdzie na produkcję, ustal, kto zatwierdza wynik i co się dzieje, gdy agent nie jest pewny. Mechanizmy kontroli nad agentem opisujemy w artykule ORKA kontra chaos: jak nie stracić kontroli nad agentem AI. Ryzyko związane z uprawnieniami do płatności omawia tekst o agencie, który przelał pieniądze zgodnie z instrukcją, a skutki jednego błędu — analiza przypadku agenta w firmie.
Najczęstsze pytania
Czy wysoki wynik w GAIA wystarczy, żeby wybrać agenta?
Nie. GAIA mierzy zadania asystenta wymagające rozumowania, multimodalności i narzędzi, ale nie obejmuje Twoich dokumentów, polityk ani kosztu obsługi [1]. Wynik jest punktem odniesienia przy porównaniu modeli, nie testem przydatności do procesu. Przed decyzją uruchom własny zestaw przypadków z realnymi danymi i zmierz odsetek eskalacji.
Dlaczego dwa modele mają różne wyniki w tym samym benchmarku?
Różnica wynika zwykle z konfiguracji, nie tylko z modelu. Framework, pamięć, dostępne narzędzia, liczba prób, prompt i limit czasu zmieniają wynik, dlatego oficjalny SWE-bench rozdziela tryb bash-only od wyników dowolnych agentów [2]. Porównuj wyłącznie pomiary wykonane w tej samej konfiguracji i na tej samej wersji zestawu.
Czy benchmarki mierzą bezpieczeństwo agenta?
Zwykle nie. SWE-bench sprawdza przejście testów po zastosowaniu patcha, a OSWorld końcowy stan środowiska [2][4]. Żaden z tych wyników nie pokazuje halucynacji, działań niebezpiecznych, kosztu ani jakości przekazania sprawy człowiekowi [4]. Bezpieczeństwo wymaga osobnych testów: prób prompt injection, kontroli uprawnień i zasad eskalacji.
Jak często zmieniają się publiczne benchmarki?
Zestawy są aktualizowane, a pojedyncze zadania bywają poprawiane lub wyłączane. OSWorld informuje na przykład, że osiem zadań Google Drive może wymagać ręcznej konfiguracji albo zostać wyłączonych [3]. Przed porównaniem sprawdź wersję i datę publikacji wyniku, bo starsza liczba może dotyczyć innego zestawu zadań.
Czy wynik self-reported nadaje się do decyzji zakupowej?
Nadaje się jako wskazówka, nie jako dowód. Producent raportujący własne pomiary nie jest niezależnym audytorem, a opisane badania pokazują, że część testów można złamać bez rozwiązania zadania [5][6]. W decyzji zakupowej ważniejsze są wyniki powtarzalne, opis konfiguracji i test na Twoich danych.
Źródła
- Paper page - GAIA: a benchmark for General AI Assistants (Hugging Face, 2023)
- SWE-bench Verified (SWE-bench, 2026)
- OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (OSWorld, 2024)
- Frequently Asked Questions (SWE-bench, 2026)
- Benchmarki AI agentów to fikcja? Naukowcy z Berkeley złamali osiem testów (devstockacademy.pl, 2026)
- Miały sprawdzać AI, a same są dziurawe (Antyweb, 2026)
- Poza benchmarkami: dlaczego ocena AI wymaga rzeczywistego sprawdzenia (Unite.AI, 2026)
- Kiedy benchmarki AI uczą modele, by kłamały (Unite.AI, 2026)
- AI Development Services (Netguru, 2026)
- About Us (Netguru, 2025)
- Tailored Fintech Solutions (Netguru, 2025)
- Jak ocenić agenta do przeglądu kodu: podręcznik c-CRAB (OrcaRouter, 2026)
- Najlepsi agenci AI w 2026: porównanie narzędzi i frameworków (DataCamp, 2026)
- Agenci AI: kompletny przewodnik 2026 (StormIT, 2026)
- Badanie ujawnia przesadzone możliwości AI: czy benchmarki są wiarygodne (moyens.net, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji