Tutoriale how-to
Customowe evaluatory w Amazon Bedrock AgentCore
Zaktualizowano: Autor: Andrzej Niemiec8 min czytania
Customowe evaluatory w Amazon Bedrock AgentCore: typy, tryby on-demand i online, rejestracja przez CreateEvaluator oraz pułapki w ocenie agentów AI w finansach.
Spis treści
- Czym są customowe evaluatory w Amazon Bedrock AgentCore?
- Jakie typy evaluatorów ma zespół?
- Kiedy wbudowany evaluator nie wystarcza?
- Jak zarejestrować własny evaluator przez CreateEvaluator?
- Czym różnią się tryby on-demand i online?
- Jak połączyć evaluatory w pipeline oceny?
- Jakie pułapki czyhają przy ocenie agentów w finansach?
- Jak zacząć z customowymi evaluatorami?
- Najczęstsze pytania
- Źródła
Czym są customowe evaluatory w Amazon Bedrock AgentCore?
Customowy evaluator to warstwa oceny, która sprawdza zachowanie agenta AI według kryteriów zdefiniowanych przez zespół, a nie przez dostawcę modelu. W AgentCore ocena dotyczy poziomu sesji, śladu wykonania i wywołań narzędzi, a własny evaluator pozwala ustawić model oceniający, rubrykę i skalę albo podpiąć funkcję AWS Lambda [1][5].
Należy rozdzielić dwie funkcje. Amazon Bedrock Model Evaluation ocenia modele i przepływy RAG, w tym metryki własne w stylu LLM-as-a-judge [3][4]. AgentCore Evaluations ocenia zachowanie agenta w zadaniu: poprawność, pomocność, bezpieczeństwo, sukces zadania oraz użycie narzędzi [1][2]. Pierwsza funkcja odpowiada na pytanie o wybór modelu, druga o jakość pracy agenta w konkretnym procesie.
Jakie typy evaluatorów ma zespół?
Trzy warianty różnią się tym, kto ustala kryteria i jak głęboko można wejść w reguły domenowe.
| Kryterium | Wbudowane | Custom LLM-as-a-judge | Code-based (AWS Lambda) |
|---|---|---|---|
| Kto ustala kryteria | AWS: prompty, modele i kryteria ocen bez dowolnej modyfikacji [1] | Zespół: model oceniający, instrukcje i rubryka [5] | Zespół: kod funkcji Lambda [5] |
| Co ocenia | Standardowe wymiary jakości agenta [2] | Odpowiedź i ślad według skali numerycznej lub kategorycznej [6] | Reguły deterministyczne: schemat JSON, wyrażenia regularne, warunki [5] |
| Kiedy stosować | Szybki start i porównanie zespołów [1] | Kryteria wymagające osądu językowego [5] | Wymagania jednoznaczne i audytowalne [6] |
| Ograniczenie | Brak wpływu na rubrykę [1] | Wynik zależy od modelu oceniającego [7] | Trzeba utrzymywać funkcję Lambda i jej wersje [6] |
Kiedy wbudowany evaluator nie wystarcza?
Wbudowane evaluatory są konfigurowane przez AWS: mają zdefiniowane prompty, modele i kryteria ocen, których nie można dowolnie zmieniać [1]. Przy 13 wbudowanych evaluatorach udostępnionych w dniu ogólnej dostępności pokrywają typowe wymiary jakości, ale nie reguły specyficzne dla banku, procesu kredytowego czy lokalnej regulacji [2].
Własny evaluator jest właściwym mechanizmem, gdy kryterium pochodzi z dokumentu wewnętrznego. Gdy zespół chce oceniać odpowiedź względem własnego modelu ryzyka, schematu JSON albo listy wykluczonych sformułowań, potrzebna jest rubryka zespołu albo deterministyczna funkcja [5][6]. Ocena sentymentu nie jest też równoznaczna z decyzją inwestycyjną: w finansach potrzebne są progi niepewności, eskalacja do człowieka, logowanie i możliwość odtworzenia decyzji [7].
Jak zarejestrować własny evaluator przez CreateEvaluator?
CreateEvaluator tworzy evaluator asynchronicznie i zwraca cztery wartości: ARN, identyfikator, znacznik czasu utworzenia oraz status początkowy [6]. Operacja nie blokuje pracy zespołu, ale trzeba sprawdzić status, zanim evaluator trafi do konfiguracji oceny.
Custom LLM-as-a-judge wymaga trzech decyzji: modelu oceniającego, instrukcji z rubryką oraz skali numerycznej albo kategorycznej [5][6]. Evaluator code-based działa inaczej: uruchamia własną funkcję Lambda, więc reguły mogą sprawdzać schemat odpowiedzi, wyrażenia regularne i warunki deterministyczne bez reliance na kolejnym modelu [5][6]. W obu wariantach zespół przejmuje odpowiedzialność za wersjonowanie definicji oceny.
Czym różnią się tryby on-demand i online?
Tryb wybiera się według tego, czy ocena ma sprawdzać agenta przed wdrożeniem, czy opisywać jego pracę na produkcji.
| Aspekt | On-demand | Online |
|---|---|---|
| Moment uruchomienia | na żądanie, poza ścieżką zwykłej odpowiedzi [9] | podczas ruchu produkcyjnego, na próbce zapytań [8] |
| Dane referencyjne | można użyć zestawu ground truth [9] | brak ground truth w zwykłym monitoringu produkcji [2] |
| Typowe zastosowanie | testy przed wdrożeniem, audyt odpowiedzi [9] | monitorowanie jakości i alarmy progowe [7] |
| Ograniczenie | nie wychwytuje zmian w ruchu produkcyjnym [8] | ocenia próbkę ruchu, a nie każde zapytanie [8] |
Dane referencyjne są dostępne w testach on-demand, ale nie w monitoringu zwykłego ruchu produkcyjnego [2][9]. Dlatego wynik online opisuje próbkę, a nie pełny obraz jakości agenta.
Jak połączyć evaluatory w pipeline oceny?
Pipeline łączy evaluatory wbudowane i własne. Blog AWS pokazuje cztery code-based evaluatory dla agenta zajmującego się informacjami rynkowymi, zarejestrowane w AgentCore i uruchamiane w trybie on-demand oraz online, obok evaluatorów wbudowanych [9]. Wywołanie odbywa się przez Evaluate API [9][10].
Kolejność ma znaczenie. Deterministyczne blokady, takie jak kontrola schematu odpowiedzi, idą przed oceną językową, a wynik jakościowy trafia do progów i alarmów w CloudWatch [7][8]. Tak zbudowany łańcuch oddziela klasyfikację tekstu od autoryzacji transakcji i limitów ryzyka [7]. Praktyczne zasady wdrażania agentów AI opisuje też nasz przegląd praktycznych zastosowań AI.
Jakie pułapki czyhają przy ocenie agentów w finansach?
Najczęstszy błąd to czytanie wyniku evaluatora jako dowodu poprawności decyzji. AWS opisuje monitorowanie, próbkowanie, wyniki w CloudWatch i alarmy progowe, ale nie obiecuje eliminacji błędów [7][8].
- Brak kalibracji. Wyniki trzeba porównać z oceną ekspertów na reprezentatywnym zbiorze domenowym, zanim staną się progiem jakości [7].
- Brak danych referencyjnych na produkcji. Zestaw ground truth nie działa w zwykłym monitoringu ruchu, więc test on-demand i monitoring online odpowiadają na różne pytania [2][9].
- Jeden evaluator na wszystko. Reguły domenowe i reguły formalne lepiej rozdzielić na osobne definicje, bo mają różne skale i różne konsekwencje [5][6].
- Brak eskalacji. System, który tylko ocenia, a nie przekazuje wątpliwego przypadku człowiekowi, przenosi ryzyko na kolejny etap procesu [7].
Jak zacząć z customowymi evaluatorami?
Start nie wymaga przebudowy agenta. Wystarczy wybrać jedno kryterium, które dziś jest sprawdzane ręcznie.
- Rozdziel pytanie o model od pytania o agenta. Do wyboru modelu użyj Bedrock Model Evaluation, do jakości pracy agenta — AgentCore Evaluations [3][4][1].
- Wybierz typ evaluatora. Rubryka LLM-as-a-judge dla osądu językowego, funkcja Lambda dla reguł deterministycznych [5][6].
- Zarejestruj evaluator przez CreateEvaluator i sprawdź status operacji asynchronicznej [6].
- Ustaw tryb i próg. Test on-demand z danymi referencyjnymi, monitoring online z próbkowaniem i alarmem [8][9].
Kontekst porównania modeli i benchmarków opisuje nasz materiał o benchmarkach AI i OpenClaw.
Najczęstsze pytania
Czym różni się Bedrock Model Evaluation od AgentCore Evaluations?
Bedrock Model Evaluation ocenia modele oraz przepływy RAG, w tym metryki własne w stylu LLM-as-a-judge [3][4]. AgentCore Evaluations ocenia zachowanie agenta: sesję, ślad wykonania i wywołania narzędzi [1][2]. Pierwsze narzędzie służy do wyboru modelu, drugie do kontroli jakości pracy agenta w zadaniu.
Czy customowy evaluator zastępuje wbudowany?
Nie. Wbudowane evaluatory pokrywają standardowe wymiary jakości i są konfigurowane przez AWS, a własne dodają kryteria specyficzne dla firmy [1][2]. Blog AWS pokazuje łączenie evaluatorów code-based z wbudowanymi w jednym pipeline [9].
Czy evaluator LLM-as-a-judge wystarczy w finansach?
Nie w każdej regule. Osąd językowy sprawdza rubrykę i skalę, ale reguły formalne lepiej powierzyć funkcji deterministycznej [5][6]. Klasyfikacja tekstu musi też pozostać oddzielona od autoryzacji transakcji i limitów ryzyka, z eskalacją do człowieka [7].
Ile wbudowanych evaluatorów udostępnia AgentCore?
W dniu ogólnej dostępności 31 marca 2026 r. AWS udostępnił 13 wbudowanych evaluatorów obejmujących poprawność, pomocność, bezpieczeństwo, sukces zadania i użycie narzędzi [2]. Ich konfiguracji nie można dowolnie zmieniać, dlatego reguły własne wymagają customowego evaluatora [1].
Źródła
- Evaluators - Amazon Bedrock AgentCore (AWS, 2026)
- Amazon Bedrock AgentCore Evaluations is now generally available (AWS, 2026)
- Evaluate model performance using another LLM as a judge (AWS, 2026)
- Create a model evaluation job using custom metrics (AWS, 2026)
- Custom evaluators - Amazon Bedrock AgentCore (AWS, 2026)
- Create evaluator - Amazon Bedrock AgentCore (AWS, 2026)
- Amazon Bedrock AgentCore adds quality evaluations and policy controls (AWS, 2026)
- Build reliable AI agents with Amazon Bedrock AgentCore Evaluations (AWS, 2026)
- Build custom code-based evaluators in Amazon Bedrock AgentCore (AWS, 2026)
- Amazon Bedrock AgentCore Evaluations Practical Guide (hidekazu-konishi.com, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji