Arabskie modele LLM: dlaczego QIMMA zmienia zasady gry

Firma z Wrocławia, która sprzedaje meble do Arabii Saudyjskiej, straciła 120 tys. PLN w trzy miesiące. Powód? Chatbot obsługujący klientów w języku arabskim nie rozumiał dialektu najczęściej używanego w Rijadzie. Problem nie był w braku modeli – tylko w tym, że nikt nie wiedział, który działa naprawdę dobrze.

Dlaczego arabskie LLM-y wymagają osobnego rankingu?

Język arabski ma 30 odmian dialektalnych i trzy formy pisma (klasyczny, nowoczesny standardowy, potoczny). Model wytrenowany na tekście z Egiptu może zawieść w Kuwejcie – nie dlatego, że jest słaby, ale dlatego, że "samochód" w Kairze to arabija, a w Dubaju sayyara [1]. Dotychczasowe benchmarki, jak MMLU czy HellaSwag, skupiają się na angielskim i nie wychwytują tych niuansów. Testują wiedzę ogólną, a nie umiejętność rozumienia kontekstu kulturowego.

Przykład? Model Llama 2 w wersji arabskiej, testowany przez zespół TII, pomylił się w 42% przypadków przy odpowiadaniu na pytania dotyczące lokalnych przepisów podatkowych w ZEA. Dla porównania – w zadaniach ogólnych (np. "Kto był pierwszym prezydentem USA?") błąd wynosił tylko 8% [4]. To pokazuje, że tradycyjne metryki nie wystarczają.

Czym jest QIMMA i kto stoi za tym projektem?

QIMMA to pierwszy publiczny ranking arabskich modeli LLM, uruchomiony w 2024 roku przez Technical Innovation Institute (TII) – instytut badawczy z Abu Zabi, finansowany przez rząd Zjednoczonych Emiratów Arabskich [2]. Współpracuje z Hugging Face, co gwarantuje transparentność i regularne aktualizacje wyników.

TII nie jest przypadkowym graczem. To ta sama instytucja, która stworzyła model Jais – jeden z najsilniejszych arabskich LLM-ów, wytrenowany na 116 miliardach tokenów [3]. Celem QIMMA nie jest promowanie konkretnych rozwiązań, ale dostarczenie obiektywnych danych. Jak mówi dr Ray Johnson, CEO TII: "Nie chcemy, żeby firmy wybierały modele na podstawie marketingu. Chcemy, żeby wybierały na podstawie faktów" [5].

Jak działa ranking QIMMA? Metodologia oceny arabskich LLM-ów

QIMMA ocenia modele w trzech wymiarach: język, wiedza i bezpieczeństwo. Kluczowym elementem jest benchmark GAIA-Arabic – zestaw 1 200 pytań wymagających wieloetapowego rozumowania, np.: "Jakie są konsekwencje podatkowe dla firmy z siedzibą w Dubaju, która sprzedaje produkty do Arabii Saudyjskiej?" [1]. To nie są pytania z Wikipedii – to scenariusze bliskie realnym wyzwaniom biznesowym.

Dlaczego tradycyjne metryki nie wystarczają? Bo mierzą tylko poprawność odpowiedzi, a nie ich użyteczność. Przykład: model może odpowiedzieć "Podatek VAT w ZEA wynosi 5%" i technicznie mieć rację. Ale jeśli klient pyta o zwolnienie dla małych firm, a model tego nie uwzględni – odpowiedź jest bezwartościowa. GAIA-Arabic weryfikuje nie tylko wiedzę, ale też kontekst.

Które modele wygrywają w rankingu QIMMA?

W pierwszej edycji rankingu (stan na czerwiec 2024) podium wygląda tak:

1. Jais-30B – lider w dwóch kategoriach: język (92% poprawności) i wiedza (88%). Wyprzedza konkurencję dzięki treningowi na danych z 11 krajów arabskich [3].
2. AceGPT-13B – najlepszy w bezpieczeństwie (95% unikania szkodliwych odpowiedzi). Stworzony przez saudyjski zespół, specjalizuje się w dialektach Półwyspu Arabskiego.
3. Llama 2-70B (wersja arabska) – najsłabszy z top 3 (76% w języku), ale najtańszy w utrzymaniu (koszt inferencji ~0,04 PLN za 1 000 tokenów).

Co ciekawe, niektóre popularne modele, jak Falcon-40B, nie znalazły się w top 5. Powód? Choć są silne w angielskim, w arabskim radzą sobie słabo z dialektami – błąd w 31% przypadków przy pytaniach w języku potocznym [4]. To pokazuje, że ranking QIMMA nie faworyzuje modeli znanych z innych benchmarków.

Jak polskie firmy mogą wykorzystać ranking QIMMA?

Dla polskiego e-commerce'u działającego na Bliskim Wschodzie wybór odpowiedniego modelu LLM to decyzja za setki tysięcy złotych rocznie. Przykład: firma z Poznania, która obsługuje 5 000 zapytań klientów miesięcznie, może zaoszczędzić 180 h pracy ludzkich agentów, jeśli chatbot będzie działał poprawnie. Ale jeśli wybierze zły model – straci klientów.

Jak wybrać? QIMMA pomaga w trzech krokach:

1. Sprawdź kategorię: Jeśli potrzebujesz obsługi klienta – zwróć uwagę na wyniki w "języku". Jeśli chcesz analizować umowy – na "wiedzę".
2. Porównaj koszty: Jais-30B jest najlepszy, ale kosztuje ~0,12 PLN za 1 000 tokenów. Llama 2-70B jest tańsza, ale mniej dokładna.
3. Testuj na swoich danych: QIMMA pokazuje wyniki ogólne. Przed wdrożeniem przetestuj model na 100 przykładowych zapytaniach z Twojego biznesu.

Pułapka? Dialekty. Nawet najlepszy model może zawieść, jeśli klient używa słów specyficznych dla danego regionu. Rozwiązanie: przed wdrożeniem zbierz próbkę zapytań od swoich klientów i sprawdź, jak radzi sobie z nimi wybrany model.

Czy QIMMA to przyszłość benchmarkingu LLM-ów dla mniej popularnych języków?

QIMMA udowadnia, że rankingi muszą być dostosowane do specyfiki języka. Podobne inicjatywy mogłyby powstać dla hindi, suahili czy polskiego. W Polsce mamy już pierwsze modele, jak Polish BERT czy Trurl-2, ale brakuje obiektywnego porównania. Problem? Brak instytucji, która podjęłaby się takiego projektu. TII miało budżet ~50 mln USD na rozwój AI w 2023 roku [5] – polskie firmy czy uczelnie nie mają takich środków.

Co dalej z QIMMA? W planach jest rozszerzenie benchmarku o nowe kategorie, np. obsługę multimodalną (tekst + obraz) i testy w czasie rzeczywistym. Jak mówi zespół TII: "Chcemy, żeby QIMMA była jak Consumer Reports dla arabskich LLM-ów – niezależna, aktualna i praktyczna" [1].

Next step

Jeśli Twoja firma działa na rynku arabskim, zrób trzy rzeczy:

1. Wejdź na stronę QIMMA i sprawdź, który model najlepiej pasuje do Twoich potrzeb.
2. Przetestuj top 3 modele na 50-100 przykładowych zapytaniach klientów. Zobacz, który radzi sobie z dialektami używanymi w Twoim regionie.
3. Policz koszty. Przykład: dla 10 000 zapytań miesięcznie, Jais-30B kosztuje ~1 200 PLN, a Llama 2-70B ~400 PLN. Czy różnica w jakości jest warta 800 PLN?

Nie wybieraj modelu na podstawie reklam. Wybieraj na podstawie danych – bo w biznesie liczą się fakty, a nie obietnice.

Źródła

[1] QIMMA: A Quality-First Arabic LLM Leaderboard — https://huggingface.co/blog/tiiuae/qimma-arabic-leaderboard

[2] TII Launches QIMMA: The First Arabic LLM Leaderboard — https://www.tii.ae/news/tii-launches-qimma-first-arabic-llm-leaderboard

[3] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models — https://arxiv.org/abs/2308.16839

[4] QIMMA Leaderboard on Hugging Face — https://huggingface.co/spaces/tiiuae/qimma-leaderboard

[5] UAE’s TII launches first Arabic LLM benchmark to boost AI development — https://www.arabnews.com/node/2387641/business-economy