Przejdź do treści

News & analizy

Grok 4.3 i benchmark sykofancji: co naprawdę mierzy wynik 0%

Zaktualizowano: Autor: Andrzej Niemiec10 min czytania

Co naprawdę mierzy benchmark sykofancji i jak czytać wynik Grok 4.3? Wyjaśniamy metryki, ceny API i różnice między Grok 4.3, 4.5 i 4.7.

Grok 4.3 i benchmark sykofancji: co naprawdę mierzy wynik 0%
Spis treści
  1. Co mierzy benchmark sykofancji?
  2. Czy Grok 4.3 prowadzi dziś w rankingu sykofancji?
  3. Dlaczego wynik 0% sykofancji nie oznacza dobrego modelu do decyzji?
  4. Grok 4.3, Grok 4.5 i Grok 4.7 — czym się różnią?
  5. Ile kosztuje Grok 4.3 w subskrypcji i API?
  6. Czy benchmark sykofancji wystarcza do oceny modelu w banku?
  7. Jak sprawdzić model przed wdrożeniem?
  8. Najczęstsze pytania
  9. Źródła

Co mierzy benchmark sykofancji?

Benchmark narrator-bias sykofancji uznaje model za sykofantyczny wtedy, gdy popiera obie przeciwstawne wersje tej samej sprawy, przedstawione przez dwóch różnych narratorów. Mierzy też błąd odwrotny, czyli odrzucanie obu narratorów. Osobno raportuje pokrycie decyzyjne oraz udział odpowiedzi oznaczonych jako INSUFFICIENT [1]. Wysoka spójność nie jest więc tym samym co wysoka jakość oceny.

Publiczne repozytorium benchmarku zawiera 198 sporów. Tylko 6 z nich zaklasyfikowano do kategorii money/finance, co ogranicza wnioski o zastosowaniach kredytowych [1]. Konstrukcja testu jest prosta: dwa opisy tego samego przypadku, napisane z przeciwnych stron. Model, który zgadza się z oboma narratorami, zbiera punkty sykofancji. Model, który odrzuca oba opisy, zbiera punkty w drugiej metryce. Ani jedno, ani drugie nie jest miarą trafności merytorycznej.

Grok to asystent xAI do czatu, wyszukiwania, rozumowania, kodowania i generowania obrazów oraz wideo. Opis produktu i aktualne modele zebraliśmy na stronie Grok.

Czy Grok 4.3 prowadzi dziś w rankingu sykofancji?

Nie ma na to potwierdzenia w danych pierwotnych. Wątek na Reddicie z 21 maja 2026 r. twierdził, że Grok 4.3 prowadzi w Consistency Leaderboard [2], ale to nie jest źródło pierwotne. Repozytorium benchmarku, aktualizowane między innymi 5 sierpnia 2026 r., pokazuje na drugim miejscu Grok 4.5 z 0% sykofancji i 3% całkowitej niespójności [1]. Publiczna lista nie wskazuje więc Grok 4.3 jako obecnego zwycięzcy.

Grok 4.3 jest realnym, zamkniętym modelem xAI. Karta modelu podaje kontekst 1 000 000 tokenów, obsługę wywoływania funkcji, ustrukturyzowanych odpowiedzi i rozumowania na poziomach none, low, medium, high oraz xhigh [3]. Cena API wynosiła 1,25 USD za 1 mln tokenów wejściowych i 2,50 USD za 1 mln tokenów wyjściowych, a cache wejściowy 0,20 USD [4]. Powyżej 200 tys. tokenów promptu obowiązywały wyższe stawki.

Nowsze modele przejmują kolejne zadania. Grok 4.5 trafił do publicznego rankingu jako model do kodowania, agentów i pracy z wiedzą, a Grok 4.7 jest dziś opisywany jako flagowiec do kodowania i knowledge work [5].

Dlaczego wynik 0% sykofancji nie oznacza dobrego modelu do decyzji?

Sam wynik sykofancji nie wystarcza, bo model może go osiągnąć, odmawiając zajęcia stanowiska. W przypadku Grok 4.5, który ma 0% sykofancji, pokrycie decyzyjne wyniosło 30,3%, a 64,1% odpowiedzi oznaczono jako INSUFFICIENT [1]. To znaczy, że w większości sporów model nie wskazał żadnej ze stron. Czytanie samego zera bez tych dwóch liczb prowadzi do błędnego wniosku o jakości.

Repozytorium wyraźnie rozdziela cztery metryki: sykofancję, kontrarianizm, pokrycie decyzyjne i odmowy [1]. Wysoka spójność może więc oznaczać konsekwencję w ocenie, ale może też oznaczać unikanie odpowiedzi. Bez rozbicia na te metryki ranking nie mówi, czy model nadaje się do pracy z decyzją, czy tylko do rozmowy.

Drugie ograniczenie jest zakresowe. Benchmark obejmuje głównie syntetyczne, zbalansowane spory, a nie rzeczywiste postępowania kredytowe czy audytowe. 6 z 198 przypadków dotyczy finansów [1]. Wniosek o ryzyku biznesowym jest publikystyczny, nie wynika z wygranej w jednym teście.

Grok 4.3, Grok 4.5 i Grok 4.7 — czym się różnią?

Grok 4.3 ma kontekst 1 mln tokenów i niższą cenę API. Grok 4.5 jest nowszy i droższy, a Grok 4.7 to aktualny flagowiec do kodowania i pracy z wiedzą z kontekstem 500 tys. tokenów. Wybór zależy od tego, czy ważniejszy jest długi kontekst i koszt, czy nowsze możliwości i wsparcie narzędzi [3] [4] [5].

KryteriumGrok 4.3Grok 4.7
Kontekst1 000 000 tokenów [3]500 000 tokenów [5]
Cena API za 1 mln tokenów (wejście / wyjście)1,25 / 2,50 USD [4]2 / 6 USD [4]
Typowe zastosowanieogólne zadania z długim kontekstem, ustrukturyzowane odpowiedzi, wywoływanie funkcji [3]kodowanie, agenci i knowledge work, dostęp w Cursor, Grok Build oraz API [5]

Cennik jest tu kryterium praktycznym, nie teoretycznym. Różnica wejścia między 1,25 a 2 USD za 1 mln tokenów oznacza, że przy dużym wolumenie promptów starszy model pozostaje tańszy, a przy zadaniach agentowych nowszy model może wymagać mniej iteracji. Trzeba to zmierzyć na własnych danych, bo publikowane stawki nie mówią nic o liczbie wywołań potrzebnych do wyniku.

Niezależne pomiary pokazują profil nierówny, a nie dominację we wszystkich testach. Vals AI raportowało dla Grok 4.3 85,84% w MMLU-Pro, 91,41% w GPQA Diamond, 71,40% w SWE-bench i 41,95% w Terminal-Bench 2.1 [6]. Wyniki zależą od metodologii, ustawień i wersji modelu, więc porównywanie liczb z różnych źródeł wymaga ostrożności.

Ile kosztuje Grok 4.3 w subskrypcji i API?

W API Grok 4.3 kosztuje 1,25 USD za 1 mln tokenów wejściowych i 2,50 USD za 1 mln tokenów wyjściowych, a powyżej 200 tys. tokenów promptu stawki rosną [4]. W modelu subskrypcyjnym x.ai podaje plany od 0 do 200 USD miesięcznie, a polski App Store sprzedaje pakiety SuperGrok od 49,99 zł do 1 499,99 zł [7] [8].

Ceny planów x.ai, stan na październik 2026, to oficjalne stawki w USD bez podatków [7]:

PlanCena miesięcznieZakres
Free0 USDograniczone żądania czatu i ograniczone żądania agentów
Plus8 USDczat, głos, Imagine, Build, dostęp do API Grok i funkcje X
Premium30 USD4× większy usage niż Plus, Grok Bot, najnowsze modele, szybsze odpowiedzi
Super100 USD15× większy usage niż Plus, priorytetowy dostęp do modeli w godzinach szczytu
Ultra200 USD50× większy usage niż Plus

x.ai nie podaje na stronie cennika stałych liczbowych limitów wiadomości dla planów darmowego i płatnych. Podaje limity opisowe i mnożniki względem Plus [7]. Planowanie budżetu na podstawie samych mnożników jest więc przybliżeniem, a nie wyliczeniem.

Polski listing iOS pokazuje osobną strukturę zakupów w aplikacji: SuperGrok Lite 49,99 zł, SuperGrok 149,99 zł, SuperGrok Plus 499,99 zł i SuperGrok Heavy 1 499,99 zł [8]. To ceny z App Store, a nie z cennika webowego. Nie są wprost porównywalne z planami x.ai, bo dotyczą innego kanału sprzedaży.

Czy benchmark sykofancji wystarcza do oceny modelu w banku?

Nie wystarcza. Opublikowane badanie z 1 lipca 2026 r. objęło 280 raportów 28 europejskich banków i wykazało słabą spójność GPT-4.1 w części operacyjnej [9]. Audyt z 13 października 2026 r. ostrzega, że modele LLM nie powinny zastępować formalnych modeli ryzyka, a w zastosowaniach komercyjnych banków preferowane pozostają dostrojone modele uczenia maszynowego [10].

Dla zastosowań kredytowych trzeba mierzyć osobno dokładność, kalibrację, stabilność, wyjaśnialność, fairness, odporność na zmianę promptu i zgodność z procedurą banku [10]. Żadna z tych metryk nie wynika z rankingu sykofancji. Benchmark odpowiada na wąskie pytanie o zachowanie modelu wobec narratora, a nie na pytanie o jakość decyzji w regulowanym procesie.

To rozróżnienie ma znaczenie także dla firm spoza bankowości. Jeśli model wspiera decyzję, która ma skutek finansowy lub prawny, testować trzeba procedurę, a nie tylko ogólne rankingi. Koszty błędów i wymogi dokumentacyjne rosną wraz z wagą decyzji.

Jak sprawdzić model przed wdrożeniem?

Zestaw testów warto oprzeć na własnych przypadkach, a nie na jednym publicznym rankingu. Publiczne benchmarki pokazują profil możliwości, ale nie walidują procedury organizacji [1] [6]. Praktyczny test powinien zawierać przypadki graniczne, zmianę kolejności informacji i pytanie sprawdzające, czy model utrzyma ocenę, gdy narrator zmieni ton.

Drugi krok to sprawdzenie kosztu jednostkowego na realnym wolumenie. Stawki API Grok 4.3 i Grok 4.7 różnią się ponad półtorakrotnie na wejściu i ponad dwukrotnie na wyjściu [4]. Do tego dochodzi liczba wywołań i długość promptów, które w zadaniach agentowych bywają większe niż w czacie.

Trzeci krok to dokumentacja zachowania modelu. Zapisuj, kiedy model odmawia, kiedy zmienia ocenę i na jakiej podstawie. Taki rejestr zastępuje zgadywanie i pozwala porównać wersje po aktualizacji. O kontekście rynkowym i kontrowersjach wokół xAI piszemy w tekstach 6,4 miliarda dolarów strat xAI — czy Musk gra o wszystko, czy o nic? oraz 500 mln dolarów na ryzyka Groka. Co polskie firmy mogą zrobić, zanim AI wygeneruje im proces.

Najczęstsze pytania

Czy Grok 4.3 wygrał benchmark sykofancji?

Publiczna lista benchmarku, aktualizowana między innymi 5 sierpnia 2026 r., pokazuje w czołówce Grok 4.5, a nie Grok 4.3. Prowadzenie Grok 4.3 w Consistency Leaderboard podał wątek na Reddicie z 21 maja 2026 r. To nie jest źródło pierwotne, więc twierdzenia o obecnym zwycięstwie nie da się potwierdzić [1] [2].

Co oznacza wynik 0% sykofancji?

Oznacza, że model nie poparł obu przeciwstawnych wersji tej samej sprawy w testowanych sporach. Nie oznacza, że ocenia trafnie. Przy Grok 4.5 pokrycie decyzyjne wyniosło 30,3%, a 64,1% odpowiedzi oznaczono jako INSUFFICIENT, czyli brak stanowiska [1]. Samo zero bez tych liczb jest niepełną informacją.

Ile kosztuje Grok 4.3?

W API 1,25 USD za 1 mln tokenów wejściowych i 2,50 USD za 1 mln tokenów wyjściowych, z wyższymi stawkami powyżej 200 tys. tokenów promptu [4]. W subskrypcji x.ai plany kosztują od 0 do 200 USD miesięcznie [7], a w polskim App Store pakiety SuperGrok od 49,99 zł do 1 499,99 zł [8].

Czy Grok jest dostępny w Polsce?

Tak. Polski listing App Store jest dostępny i wymienia język polski wśród obsługiwanych, a x.ai deklaruje obsługę ponad 30 języków. Jakość odpowiedzi zależy jednak od języka i zadania, więc warto sprawdzić model na własnych tekstach przed wdrożeniem [3] [8].

Czy benchmark sykofancji sprawdza bezpieczeństwo decyzji kredytowych?

Nie. Benchmark zawiera 198 sporów, z których tylko 6 dotyczy finansów. Nie jest walidacją underwritingu, zgodności regulacyjnej ani niedyskryminacji [1]. Do oceny modelu w banku potrzebne są osobne testy dokładności, kalibracji i zgodności z procedurą [10].

Źródła

  1. GitHub - lechmazur/sycophancy: LLM benchmark and leaderboard for narrator-bias sycophancy, opposite-narrator contradictions, and judgment consistency (GitHub, 2026)
  2. r/singularity on Reddit: Grok 4.3 tops the Consistency Leaderboard in the LLM Sycophancy Benchmark (Reddit, 2026)
  3. Grok 4.3 (xAI Docs, 2026)
  4. API Pricing (xAI Docs, 2026)
  5. Grok 4.7 (xAI Docs, 2026)
  6. Grok 4.3 Benchmarks, Cost and Capabilities (Vals AI, 2026)
  7. Pricing: Compare Plans (xAI, 2026)
  8. Grok w App Store (Apple, 2026)
  9. Large Language models for banking supervision: reliability evidence from European systemic banks (ScienceDirect, 2026)
  10. Can Zero-Shot Large Language Models Be Trusted for Credit-Risk Prediction? An Explainability Audit Against LightGBM on Loan Default Data (MDPI, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji