Przejdź do treści

Tutoriale how-to

Customowe evaluatory w Amazon Bedrock AgentCore

Zaktualizowano: Autor: Andrzej Niemiec8 min czytania

Customowe evaluatory w Amazon Bedrock AgentCore: typy, tryby on-demand i online, rejestracja przez CreateEvaluator oraz pułapki w ocenie agentów AI w finansach.

Customowe evaluatory w Amazon Bedrock AgentCore
Spis treści
  1. Czym są customowe evaluatory w Amazon Bedrock AgentCore?
  2. Jakie typy evaluatorów ma zespół?
  3. Kiedy wbudowany evaluator nie wystarcza?
  4. Jak zarejestrować własny evaluator przez CreateEvaluator?
  5. Czym różnią się tryby on-demand i online?
  6. Jak połączyć evaluatory w pipeline oceny?
  7. Jakie pułapki czyhają przy ocenie agentów w finansach?
  8. Jak zacząć z customowymi evaluatorami?
  9. Najczęstsze pytania
  10. Źródła

Czym są customowe evaluatory w Amazon Bedrock AgentCore?

Customowy evaluator to warstwa oceny, która sprawdza zachowanie agenta AI według kryteriów zdefiniowanych przez zespół, a nie przez dostawcę modelu. W AgentCore ocena dotyczy poziomu sesji, śladu wykonania i wywołań narzędzi, a własny evaluator pozwala ustawić model oceniający, rubrykę i skalę albo podpiąć funkcję AWS Lambda [1][5].

Należy rozdzielić dwie funkcje. Amazon Bedrock Model Evaluation ocenia modele i przepływy RAG, w tym metryki własne w stylu LLM-as-a-judge [3][4]. AgentCore Evaluations ocenia zachowanie agenta w zadaniu: poprawność, pomocność, bezpieczeństwo, sukces zadania oraz użycie narzędzi [1][2]. Pierwsza funkcja odpowiada na pytanie o wybór modelu, druga o jakość pracy agenta w konkretnym procesie.

Jakie typy evaluatorów ma zespół?

Trzy warianty różnią się tym, kto ustala kryteria i jak głęboko można wejść w reguły domenowe.

KryteriumWbudowaneCustom LLM-as-a-judgeCode-based (AWS Lambda)
Kto ustala kryteriaAWS: prompty, modele i kryteria ocen bez dowolnej modyfikacji [1]Zespół: model oceniający, instrukcje i rubryka [5]Zespół: kod funkcji Lambda [5]
Co oceniaStandardowe wymiary jakości agenta [2]Odpowiedź i ślad według skali numerycznej lub kategorycznej [6]Reguły deterministyczne: schemat JSON, wyrażenia regularne, warunki [5]
Kiedy stosowaćSzybki start i porównanie zespołów [1]Kryteria wymagające osądu językowego [5]Wymagania jednoznaczne i audytowalne [6]
OgraniczenieBrak wpływu na rubrykę [1]Wynik zależy od modelu oceniającego [7]Trzeba utrzymywać funkcję Lambda i jej wersje [6]

Kiedy wbudowany evaluator nie wystarcza?

Wbudowane evaluatory są konfigurowane przez AWS: mają zdefiniowane prompty, modele i kryteria ocen, których nie można dowolnie zmieniać [1]. Przy 13 wbudowanych evaluatorach udostępnionych w dniu ogólnej dostępności pokrywają typowe wymiary jakości, ale nie reguły specyficzne dla banku, procesu kredytowego czy lokalnej regulacji [2].

Własny evaluator jest właściwym mechanizmem, gdy kryterium pochodzi z dokumentu wewnętrznego. Gdy zespół chce oceniać odpowiedź względem własnego modelu ryzyka, schematu JSON albo listy wykluczonych sformułowań, potrzebna jest rubryka zespołu albo deterministyczna funkcja [5][6]. Ocena sentymentu nie jest też równoznaczna z decyzją inwestycyjną: w finansach potrzebne są progi niepewności, eskalacja do człowieka, logowanie i możliwość odtworzenia decyzji [7].

Jak zarejestrować własny evaluator przez CreateEvaluator?

CreateEvaluator tworzy evaluator asynchronicznie i zwraca cztery wartości: ARN, identyfikator, znacznik czasu utworzenia oraz status początkowy [6]. Operacja nie blokuje pracy zespołu, ale trzeba sprawdzić status, zanim evaluator trafi do konfiguracji oceny.

Custom LLM-as-a-judge wymaga trzech decyzji: modelu oceniającego, instrukcji z rubryką oraz skali numerycznej albo kategorycznej [5][6]. Evaluator code-based działa inaczej: uruchamia własną funkcję Lambda, więc reguły mogą sprawdzać schemat odpowiedzi, wyrażenia regularne i warunki deterministyczne bez reliance na kolejnym modelu [5][6]. W obu wariantach zespół przejmuje odpowiedzialność za wersjonowanie definicji oceny.

Czym różnią się tryby on-demand i online?

Tryb wybiera się według tego, czy ocena ma sprawdzać agenta przed wdrożeniem, czy opisywać jego pracę na produkcji.

AspektOn-demandOnline
Moment uruchomieniana żądanie, poza ścieżką zwykłej odpowiedzi [9]podczas ruchu produkcyjnego, na próbce zapytań [8]
Dane referencyjnemożna użyć zestawu ground truth [9]brak ground truth w zwykłym monitoringu produkcji [2]
Typowe zastosowanietesty przed wdrożeniem, audyt odpowiedzi [9]monitorowanie jakości i alarmy progowe [7]
Ograniczenienie wychwytuje zmian w ruchu produkcyjnym [8]ocenia próbkę ruchu, a nie każde zapytanie [8]

Dane referencyjne są dostępne w testach on-demand, ale nie w monitoringu zwykłego ruchu produkcyjnego [2][9]. Dlatego wynik online opisuje próbkę, a nie pełny obraz jakości agenta.

Jak połączyć evaluatory w pipeline oceny?

Pipeline łączy evaluatory wbudowane i własne. Blog AWS pokazuje cztery code-based evaluatory dla agenta zajmującego się informacjami rynkowymi, zarejestrowane w AgentCore i uruchamiane w trybie on-demand oraz online, obok evaluatorów wbudowanych [9]. Wywołanie odbywa się przez Evaluate API [9][10].

Kolejność ma znaczenie. Deterministyczne blokady, takie jak kontrola schematu odpowiedzi, idą przed oceną językową, a wynik jakościowy trafia do progów i alarmów w CloudWatch [7][8]. Tak zbudowany łańcuch oddziela klasyfikację tekstu od autoryzacji transakcji i limitów ryzyka [7]. Praktyczne zasady wdrażania agentów AI opisuje też nasz przegląd praktycznych zastosowań AI.

Jakie pułapki czyhają przy ocenie agentów w finansach?

Najczęstszy błąd to czytanie wyniku evaluatora jako dowodu poprawności decyzji. AWS opisuje monitorowanie, próbkowanie, wyniki w CloudWatch i alarmy progowe, ale nie obiecuje eliminacji błędów [7][8].

  • Brak kalibracji. Wyniki trzeba porównać z oceną ekspertów na reprezentatywnym zbiorze domenowym, zanim staną się progiem jakości [7].
  • Brak danych referencyjnych na produkcji. Zestaw ground truth nie działa w zwykłym monitoringu ruchu, więc test on-demand i monitoring online odpowiadają na różne pytania [2][9].
  • Jeden evaluator na wszystko. Reguły domenowe i reguły formalne lepiej rozdzielić na osobne definicje, bo mają różne skale i różne konsekwencje [5][6].
  • Brak eskalacji. System, który tylko ocenia, a nie przekazuje wątpliwego przypadku człowiekowi, przenosi ryzyko na kolejny etap procesu [7].

Jak zacząć z customowymi evaluatorami?

Start nie wymaga przebudowy agenta. Wystarczy wybrać jedno kryterium, które dziś jest sprawdzane ręcznie.

  1. Rozdziel pytanie o model od pytania o agenta. Do wyboru modelu użyj Bedrock Model Evaluation, do jakości pracy agenta — AgentCore Evaluations [3][4][1].
  2. Wybierz typ evaluatora. Rubryka LLM-as-a-judge dla osądu językowego, funkcja Lambda dla reguł deterministycznych [5][6].
  3. Zarejestruj evaluator przez CreateEvaluator i sprawdź status operacji asynchronicznej [6].
  4. Ustaw tryb i próg. Test on-demand z danymi referencyjnymi, monitoring online z próbkowaniem i alarmem [8][9].

Kontekst porównania modeli i benchmarków opisuje nasz materiał o benchmarkach AI i OpenClaw.

Najczęstsze pytania

Czym różni się Bedrock Model Evaluation od AgentCore Evaluations?

Bedrock Model Evaluation ocenia modele oraz przepływy RAG, w tym metryki własne w stylu LLM-as-a-judge [3][4]. AgentCore Evaluations ocenia zachowanie agenta: sesję, ślad wykonania i wywołania narzędzi [1][2]. Pierwsze narzędzie służy do wyboru modelu, drugie do kontroli jakości pracy agenta w zadaniu.

Czy customowy evaluator zastępuje wbudowany?

Nie. Wbudowane evaluatory pokrywają standardowe wymiary jakości i są konfigurowane przez AWS, a własne dodają kryteria specyficzne dla firmy [1][2]. Blog AWS pokazuje łączenie evaluatorów code-based z wbudowanymi w jednym pipeline [9].

Czy evaluator LLM-as-a-judge wystarczy w finansach?

Nie w każdej regule. Osąd językowy sprawdza rubrykę i skalę, ale reguły formalne lepiej powierzyć funkcji deterministycznej [5][6]. Klasyfikacja tekstu musi też pozostać oddzielona od autoryzacji transakcji i limitów ryzyka, z eskalacją do człowieka [7].

Ile wbudowanych evaluatorów udostępnia AgentCore?

W dniu ogólnej dostępności 31 marca 2026 r. AWS udostępnił 13 wbudowanych evaluatorów obejmujących poprawność, pomocność, bezpieczeństwo, sukces zadania i użycie narzędzi [2]. Ich konfiguracji nie można dowolnie zmieniać, dlatego reguły własne wymagają customowego evaluatora [1].

Źródła

  1. Evaluators - Amazon Bedrock AgentCore (AWS, 2026)
  2. Amazon Bedrock AgentCore Evaluations is now generally available (AWS, 2026)
  3. Evaluate model performance using another LLM as a judge (AWS, 2026)
  4. Create a model evaluation job using custom metrics (AWS, 2026)
  5. Custom evaluators - Amazon Bedrock AgentCore (AWS, 2026)
  6. Create evaluator - Amazon Bedrock AgentCore (AWS, 2026)
  7. Amazon Bedrock AgentCore adds quality evaluations and policy controls (AWS, 2026)
  8. Build reliable AI agents with Amazon Bedrock AgentCore Evaluations (AWS, 2026)
  9. Build custom code-based evaluators in Amazon Bedrock AgentCore (AWS, 2026)
  10. Amazon Bedrock AgentCore Evaluations Practical Guide (hidekazu-konishi.com, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji