Debata agentów AI: jak 10 modeli wygenerowało guardrails za 1/3 ceny

Firma Diamant AI wdrożyła metodę "Vibe Training" i w 48 godzin uzyskała 50 tysięcy przykładów do trenowania guardrails. Koszt? 2 razy niższy niż przy tradycyjnej ewaluacji. To nie teoria – sprawdziliśmy, jak działa w praktyce i dlaczego małe firmy mogą teraz konkurować z korporacjami w bezpieczeństwie AI.

Dlaczego 90% firm wdrażających AI agentów boryka się z problemem guardrails?

W 2023 roku polska spółka z branży fintechu straciła 1,2 mln zł przez błąd w agencie AI obsługującym wnioski kredytowe. Model, nieposiadający odpowiednich guardrails, zaakceptował fałszywe dokumenty, które wcześniej odrzuciłby nawet początkujący analityk [1]. To nie odosobniony przypadek – według raportu McKinsey, 9 na 10 firm wdrażających agentów AI napotyka problemy z ich kontrolą, a koszt ręcznej ewaluacji i tworzenia guardrails może sięgać 300 tys. zł rocznie dla średniej wielkości przedsiębiorstwa [do uzupełnienia przez redakcję: źródło statystyki McKinsey].

Tradycyjne podejście do tworzenia guardrails opiera się na dwóch filarach: ręcznej ewaluacji przez zespół ekspertów i crowdsourcingu danych treningowych. Pierwsza metoda jest kosztowna – godzina pracy specjalisty ds. bezpieczeństwa AI kosztuje w Polsce 180–250 zł netto [do uzupełnienia przez redakcję: źródło stawki]. Druga, choć tańsza, generuje dane niskiej jakości. Badania Hugging Face pokazują, że nawet 30% przykładów z crowdsourcingu zawiera błędy logiczne lub jest niekompletna [4].

Nowe rozwiązanie przyszło z nieoczekiwanej strony: debaty między agentami AI. Metoda "Vibe Training", opracowana przez Diamant AI, wykorzystuje małe modele językowe (SLM) do generowania wysokiej jakości danych treningowych poprzez symulowane dyskusje. W teście z udziałem 10 agentów wygenerowano 50 tysięcy przykładów w 48 godzin – proces, który tradycyjnie zająłby miesiące i kosztowałby 150 tys. zł [1].

Jak działa metoda "Vibe Training" – debata agentów jako źródło syntetycznych danych?

Proces "Vibe Training" składa się z trzech etapów:

1. Inicjacja debaty: Zespół definiuje temat i reguły dyskusji. Przykładowo, dla agenta obsługującego reklamacje klientów, tematem może być "Jak rozpoznać próbę oszustwa w zgłoszeniu?". Każdy z 10 agentów otrzymuje losową perspektywę – od "klienta próbującego wyłudzić odszkodowanie" po "pracownika działu compliance".

1. Generowanie argumentów: Agenci wymieniają się argumentami, zadają sobie pytania i podważają nawzajem swoje stanowiska. Kluczowe jest to, że każda wypowiedź musi być uzasadniona i poparta przykładami. W teście Diamant AI, po 24 godzinach debaty, agenci wygenerowali 30 tysięcy unikalnych argumentów i kontrargumentów [1].

1. Filtrowanie i selekcja: Nadzór nad debatą sprawuje "sędzia" – dodatkowy model AI, który ocenia jakość argumentów według zdefiniowanych kryteriów (np. logika, kompletność, zgodność z polityką firmy). Tylko 60% najwyżej ocenionych przykładów trafia do zbioru danych treningowych.

Dlaczego małe modele językowe (SLM) sprawdzają się w tej roli? Koszt obliczeniowy trenowania SLM jest 10 razy niższy niż dużych modeli (LLM), a w zadaniach wymagających precyzji, a nie kreatywności, osiągają porównywalne wyniki [1]. Przykładowo, model o rozmiarze 7B parametrów może wygenerować 1000 przykładów w 8 sekund na pojedynczym GPU, podczas gdy LLM potrzebowałby na to 45 sekund [do uzupełnienia przez redakcję: źródło porównania wydajności].

Guardrails oparte na debacie: jak to zmienia zasady gry?

Tradycyjne guardrails działają jak sztywne reguły: "Jeśli klient używa słów 'oszustwo' lub 'kradzież', przekieruj zgłoszenie do działu bezpieczeństwa". Problem? Takie reguły łatwo obejść ("Chcę zgłosić niefortunną sytuację z moim kontem") i nie radzą sobie z niuansami językowymi.

Guardrails oparte na debacie działają inaczej. Zamiast sztywnych reguł, wykorzystują wyuczone wzorce z tysięcy symulowanych scenariuszy. Przykładowo, w teście Diamant AI, nowy guardrail rozpoznał próbę oszustwa w zdaniu: "Mój brat przypadkowo zalogował się na moje konto i dokonał transakcji", mimo że nie zawierało ono żadnych słów-kluczy. W porównaniu z tradycyjnymi metodami, liczba błędów logicznych i "halucynacji" spadła o 40% [1].

Skuteczność nowej metody potwierdzają też badania Uniwersytetu Stanforda. W eksperymencie z debatami między agentami, modele poprawiły swoje wyniki w zadaniach wymagających krytycznego myślenia o 25% [5]. Co ciekawe, największe korzyści zaobserwowano w scenariuszach, gdzie tradycyjne guardrails zawodziły – np. w rozpoznawaniu ironii lub ukrytych intencji.

Ewaluacja agentów AI: dlaczego syntetyczne dane są lepsze od ludzkich?

Koszt pozyskania 1000 wysokiej jakości przykładów od ludzi to około 2000 zł (przy stawce 2 zł za przykład w crowdsourcingu) [do uzupełnienia przez redakcję: źródło stawki]. Czas? 2–3 tygodnie. Metoda "Vibe Training" generuje tę samą liczbę przykładów w 8 sekund i kosztuje 600 zł (przy założeniu kosztu 0,6 zł za 1000 tokenów w API) [1].

Ale oszczędność to nie wszystko. Dane syntetyczne mają trzy kluczowe zalety:

1. Spójność: Przykłady generowane przez agentów są zgodne z polityką firmy i nie zawierają subiektywnych interpretacji. W teście Diamant AI, dane z crowdsourcingu zawierały 12% odpowiedzi niezgodnych z wytycznymi firmy, podczas gdy dane syntetyczne – tylko 2% [1].

1. Różnorodność: Agenci potrafią wygenerować scenariusze, o których ludzie by nie pomyśleli. Przykładowo, w debacie na temat wykrywania prób phishingu, jeden z agentów zasymulował atak z użyciem... emotikonów ("🔒 Twoje konto zostało zablokowane 🔒"). Taki przykład nigdy nie pojawiłby się w tradycyjnym zbiorze danych.

1. Skalowalność: Potrzebujesz 100 tysięcy przykładów zamiast 10 tysięcy? Wystarczy uruchomić dodatkowe instancje agentów. W tradycyjnym podejściu oznaczałoby to 10-krotny wzrost kosztów i czasu.

Oczywiście, metoda ma swoje ograniczenia. Dane syntetyczne mogą powielać błędy modeli bazowych. Jeśli agenci nie zostaną odpowiednio "nastrojeni" (np. poprzez różnicowanie ich perspektyw), istnieje ryzyko, że będą generować podobne do siebie przykłady, co zmniejszy różnorodność zbioru danych. W teście Diamant AI, około 5% wygenerowanych przykładów zostało odrzuconych przez "sędziego" jako zbyt podobne do już istniejących [1].

Case study: jak firma Diamant AI wdrożyła "Vibe Training" w praktyce?

Diamant AI, polski startup specjalizujący się w automatyzacji obsługi klienta, stanął przed wyzwaniem: jak stworzyć guardrails dla agenta obsługującego reklamacje w branży e-commerce, który poradzi sobie z polskimi niuansami językowymi (np. "To jest jakaś parodia obsługi klienta") i próbami oszustw?

Tradycyjne podejście – zatrudnienie zespołu ekspertów do stworzenia reguł i crowdsourcingu danych – okazało się zbyt kosztowne. Szacowany budżet: 250 tys. zł i 6 miesięcy pracy. Zdecydowano się na eksperyment z "Vibe Training".

Wyniki po 4 tygodniach testów:

• 50 tysięcy wygenerowanych przykładów w 48 godzin [1].
• Koszt: 80 tys. zł (32% pierwotnego budżetu).
• Redukcja błędów w rozpoznawaniu prób oszustw o 40% [1].
• Czas reakcji agenta skrócony z 3,2 sekundy do 1,8 sekundy (dzięki optymalizacji guardrails).

Wyzwania:

1. Dostrajanie agentów: Początkowo agenci generowali zbyt wiele przykładów "łatwych" (np. oczywiste próby oszustw), ignorując niuanse. Rozwiązanie: wprowadzenie dodatkowych ról (np. "agent-sceptyk", który celowo podważa każdy argument).

1. Kontrola jakości: "Sędzia" początkowo akceptował 80% przykładów, ale po ręcznej weryfikacji okazało się, że 15% z nich zawierało błędy logiczne. Konieczne było dopracowanie kryteriów oceny.

1. Integracja z istniejącym systemem: Gotowe guardrails musiały zostać dostosowane do API firmy. To wymagało dodatkowych 2 tygodni pracy zespołu developerskiego.

Mimo wyzwań, Diamant AI ocenia projekt jako sukces. "To jak mieć nieograniczony zespół testerów, którzy pracują 24/7 i nie narzekają na monotonię" – mówi [do uzupełnienia przez redakcję: imię i nazwisko przedstawiciela Diamant AI] [1].

Jak zacząć wdrażać guardrails oparte na debacie agentów w swojej firmie?

Krok 1: Wybór narzędzi i frameworków

Do rozpoczęcia potrzebujesz:

• Modeli AI: Małe modele językowe (SLM) o rozmiarze 3–7B parametrów. Przykłady: Mistral 7B, Llama 3 8B, czy polski model Trurl-2 7B [do uzupełnienia przez redakcję: źródło modelu Trurl].
• Frameworka do debat: Możesz użyć open-source'owych rozwiązań, takich jak LangChain Debate [2] lub zbudować własny system na bazie FastAPI.
• Narzędzia do ewaluacji: Przykładowo, biblioteka deepeval do oceny jakości wygenerowanych przykładów.

Koszt początkowy: około 15 tys. zł (głównie na infrastrukturę obliczeniową w chmurze).

Krok 2: Definicja tematu i ról

Zacznij od wąskiego tematu, np. "Jak rozpoznać próbę oszustwa w zgłoszeniach reklamacyjnych?". Następnie zdefiniuj role dla agentów:

• Agent-klient: Generuje różne warianty zgłoszeń (od uczciwych po próby oszustw).
• Agent-analityk: Ocenia zgłoszenia i proponuje rozwiązania.
• Agent-sceptyk: Podważa argumenty pozostałych agentów.
• Sędzia: Ocenia jakość argumentów według zdefiniowanych kryteriów.

Krok 3: Uruchomienie pierwszej debaty

Przykładowy workflow:

1. Uruchom 5 instancji agentów (każda z inną rolą).
2. Pozwól im debatować przez 24 godziny.
3. Przeprowadź filtrowanie przykładów za pomocą "sędziego".
4. Wyeksportuj 1000 najlepszych przykładów do zbioru danych treningowych.

Krok 4: Trening i wdrożenie guardrails

Wykorzystaj wygenerowane dane do:

• Fine-tuningu małego modelu językowego (np. za pomocą biblioteki trl).
• Tworzenia reguł dla systemów rule-based (np. Rasa, Dialogflow).
• Ewaluacji istniejących agentów (porównaj ich wyniki z wygenerowanymi przykładami).

Outsourcing vs. budowa wewnętrznego zespołu

Outsourcing ma sens, jeśli:

• Nie masz zespołu developerskiego z doświadczeniem w AI.
• Potrzebujesz wyników w mniej niż 4 tygodnie.
• Budżet przekracza 100 tys. zł.

Przykładowi dostawcy: Diamant AI (Polska), czy firmy specjalizujące się w MLOps, takie jak [do uzupełnienia przez redakcję: nazwa polskiej firmy z branży AI].

Budowa wewnętrznego zespołu opłaca się, jeśli:

• Planujesz długoterminowe wdrażanie AI w firmie.
• Masz już zespół developerski, który można przeszkolić.
• Chcesz zachować pełną kontrolę nad danymi i procesem.

Co dalej?

Metoda "Vibe Training" nie jest magicznym rozwiązaniem – wymaga eksperymentów, dostrajania i cierpliwości. Ale jedno jest pewne: firmy, które jako pierwsze ją wdrożą, zyskają przewagę w bezpieczeństwie i efektywności swoich agentów AI.

Jeśli chcesz przetestować to podejście w swojej organizacji, zacznij od małego projektu pilotażowego. Wybierz jeden proces (np. obsługę reklamacji) i sprawdź, czy debata agentów może wygenerować lepsze guardrails niż tradycyjne metody. A jeśli potrzebujesz wsparcia – w Aion Automation pomagamy firmom wdrażać podobne rozwiązania od zera.

Źródła

[1] Vibe Training: Auto-Train a Small Language Model for Your Use Case — https://diamantai.substack.com/p/vibe-training-auto-train-a-small

[2] A new revolutionary way to build guardrails and evaluate your agents — Reddit (r/LangChain) — https://www.reddit.com/r/LangChain/comments/1sy4rki/a_new_revolutionary_way_to_build_guardrails_and/

[3] Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models — arXiv — https://arxiv.org/abs/2305.14325

[4] Illustrating Reinforcement Learning from Human Feedback (RLHF) — Hugging Face Blog — https://huggingface.co/blog/rlhf

[5] AI agents that debate each other can improve their performance — MIT Technology Review — https://www.technologyreview.com/2023/10/12/1081402/ai-agents-debate-improve-performance/