Przejdź do treści

News & analizy

MathNet: 30 676 zadań olimpijskich, które testują rozumowanie AI

Zaktualizowano: Autor: Andrzej Niemiec11 min czytania

MathNet to ogłoszony w kwietniu 2026 roku zbiór 30 676 zadań olimpijskich i konkursowych z 47 krajów. Sprawdzamy, co zawiera, jak testuje modele i gdzie AI wciąż zawodzi.

MathNet: 30 676 zadań olimpijskich, które testują rozumowanie AI
Spis treści
  1. Czym jest MathNet i kto go stworzył?
  2. Ile zadań zawiera MathNet i skąd one pochodzą?
  3. Jakie testy wchodzą w skład MathNet?
  4. Jak radzą sobie modele w 2026 roku?
  5. Na czym modele wciąż zawodzą?
  6. Czy MathNet jest dostępny publicznie i jakie ma ograniczenia?
  7. Co MathNet oznacza dla polskich zespołów i edukacji?
  8. Najczęstsze pytania
  9. Źródła

Czym jest MathNet i kto go stworzył?

MathNet to publiczny zbiór zadań matematycznych na poziomie olimpijskim oraz zestaw benchmarków do oceny modeli AI. Ogłosili go w kwietniu 2026 roku badacze MIT CSAIL razem z KAUST i saudyjską firmą HUMAIN. Komunikat MIT ukazał się 24 kwietnia 2026 roku, a wersja artykułu naukowego na arXiv — 20 kwietnia 2026 roku [1][2][3].

Projekt nie jest wyłącznie akademickim archiwum. Twórcy udostępnili serwis do przeglądania zadań, sam dataset oraz benchmarki, które mają mierzyć rozumowanie matematyczne, wyszukiwanie podobnych problemów i wpływ dostarczonego kontekstu na rozwiązanie [4].

Ile zadań zawiera MathNet i skąd one pochodzą?

Główny korpus liczy 30 676 problemów wraz z rozwiązaniami przygotowanymi przez ekspertów [2]. Materiał pochodzi z oficjalnych biuletynów konkursowych wydanych w latach 1985–2025: łącznie 1595 tomów PDF i ponad 25 tysięcy stron [2][5].

ParametrWartość
Problemy w głównym korpusie30 676
Kraje pochodzenia47
Języki17
Konkursy143
Lata biuletynów źródłowych1985–2025
Objętość materiałów źródłowych1595 tomów PDF, ponad 25 tys. stron

Zakres jest szerszy, niż sugeruje potoczna nazwa „zadania olimpijskie”. Zbiór obejmuje problemy z olimpiad krajowych i międzynarodowych, konkursów oraz egzaminów selekcyjnych, a nie wyłącznie zadania z Międzynarodowej Olimpiady Matematycznej [2]. Dla zespołów pracujących nad modelami oznacza to trudniejszy test: część zadań pochodzi z mniej znanych konkursów, więc model nie może oprzeć się na schematach znanych z najpopularniejszych arkuszy.

Jakie testy wchodzą w skład MathNet?

Twórcy przygotowali trzy odrębne zadania pomiarowe [2][4]. MathNet-Solve sprawdza, czy model potrafi rozwiązać problem. MathNet-Retrieve testuje wyszukiwanie zadań matematycznie równoważnych lub strukturalnie podobnych. MathNet-RAG mierzy, jak dostarczony kontekst wpływa na jakość rozwiązania.

Podział ma praktyczne znaczenie. Model może dobrze rozwiązywać zadania i jednocześnie słabo odnajdywać podobne problemy w dużym korpusie. Osobny test dla wyszukiwania pokazuje, że sama zdolność liczenia nie wystarcza w zastosowaniach edukacyjnych, gdzie trzeba dobrać zadanie o zbliżonej strukturze.

Jak radzą sobie modele w 2026 roku?

W teście obejmującym 6400 zadań GPT-5 uzyskał około 69,3%, a najlepszy raportowany model, Gemini-3.1-Pro, 78,4% [4][6]. To wynik wyraźnie wyższy niż w starszych zestawieniach, ale wciąż oznacza, że co piąte zadanie pozostaje nierozwiązane.

KryteriumGemini-3.1-ProGPT-5Wybrane modele open source
MathNet-Solve (6400 zadań)78,4%ok. 69,3%brak pełnego wyniku w źródłach
Zadania zawierające figurywyraźnie niższa skutecznośćwyraźnie niższa skutecznośćwyraźnie niższa skuteczność
Zadania w rzadkich językachnie raportowano osobnonie raportowano osobno0% na zadaniach po mongolsku

Luka między czołowymi modelami a resztą stawki jest duża. Modele open source wypadały słabiej, a w przypadku zadań w języku mongolskim część z nich osiągnęła 0% [1][6]. Wyniki zależą więc nie tylko od architektury, ale też od reprezentacji danego języka w danych treningowych.

Na czym modele wciąż zawodzą?

Najsłabszym punktem pozostają zadania, w których trzeba odczytać lub wyobrazić sobie figurę. Modele gorzej radzą sobie z problemami graficznymi niż z zadaniami zapisanymi wyłącznie tekstem [1][6]. Drugi obszar to wyszukiwanie podobnych problemów: najlepsze modele embeddingowe osiągały poniżej 5% skuteczności Top-1 [6]. W praktyce system oparty wyłącznie na wyszukiwaniu wektorowym rzadko wskaże właściwe zadanie za pierwszym razem.

Trzeci obszar to języki. Zbiór obejmuje 17 języków, a wyniki pokazują, że dla rzadszych języków jakość spada dramatycznie [2][6]. Źródła nie precyzują, czy w tej grupie znajduje się polski.

Czy MathNet jest dostępny publicznie i jakie ma ograniczenia?

Zbiór i serwis są dostępne pod adresem mathnet.mit.edu, a dataset opublikowano również na Hugging Face [4][5]. Otwarty dostęp nie oznacza jednak, że benchmark jest wolny od ryzyka kontaminacji: część zadań mogła wcześniej pojawić się w publicznych korpusach wykorzystywanych do trenowania modeli [4][5]. Przy interpretacji wysokich wyników trzeba to brać pod uwagę.

Co MathNet oznacza dla polskich zespołów i edukacji?

Zbiór jest użyteczny wszędzie tam, gdzie trzeba zmierzyć rozumowanie, a nie odtwarzanie schematów: w projektach edukacyjnych, w pracach R&D nad modelami matematycznymi i w ocenie systemów przed wdrożeniem. Polska ma własne zaplecze konkursowe — zadania Olimpiady Informatycznej są dostępne publicznie [7], działa też Olimpiada Sztucznej Inteligencji adresowana do uczniów [8].

Kontekst jest szerszy niż jeden benchmark. W lipcu 2025 roku media opisywały pierwsze złoto olimpiady matematycznej zdobyte przez system AI, choć część komentatorów podważała praktyczną wartość tego wyniku [9]. MathNet wpisuje się w ten sam nurt: nie chodzi o pojedynczy popis, ale o powtarzalny pomiar. Praktyczne zastosowania benchmarków w firmach opisujemy w tekście o wdrażaniu AI od pilotażu do produkcji, a kwestie jakości pomiaru — w artykule o benchmarkach AI i OpenClaw. Dla zespołów pracujących z modelami kodującymi przydatny będzie też materiał o Codexie w data science.

Najczęstsze pytania

Czym MathNet różni się od typowego zbioru zadań szkolnych?

MathNet zawiera zadania z olimpiad i konkursów, a nie ćwiczenia szkolne. Główny korpus liczy 30 676 problemów z rozwiązaniami eksperckimi, zebranych z biuletynów z lat 1985–2025 [2]. Większość wymaga dowodu lub kilkuetapowego rozumowania, a nie podstawienia do wzoru [2].

Kto stworzył MathNet?

Projekt przygotowały zespoły MIT CSAIL, KAUST oraz saudyjskiej firmy HUMAIN [3]. Komunikat MIT ukazał się 24 kwietnia 2026 roku, a artykuł naukowy na arXiv — 20 kwietnia 2026 roku [1][2]. Zbiór jest publicznie dostępny pod adresem mathnet.mit.edu [4].

Który model wypada najlepiej w MathNet?

W raportowanych wynikach najlepszy jest Gemini-3.1-Pro z 78,4% w teście 6400 zadań [4][6]. GPT-5 osiągnął około 69,3% [4][6]. Żaden z modeli nie rozwiązuje jednak wszystkich problemów, a największe trudności sprawiają zadania z figurami i w rzadkich językach [1][6].

Czy MathNet zawiera zadania w języku polskim?

Źródła podają, że zbiór obejmuje 17 języków, ale nie wymieniają ich listy [2]. Nie ma więc potwierdzenia, że polski znajduje się w tej grupie. Polskie materiały konkursowe trzeba pozyskiwać z rodzimych źródeł, takich jak archiwum Olimpiady Informatycznej [7].

Czy MathNet można wykorzystać do trenowania własnego modelu?

Twórcy udostępnili dataset na Hugging Face, więc materiał można pobrać [5]. Trzeba jednak pamiętać o ryzyku kontaminacji: część zadań mogła wcześniej trafić do publicznych korpusów treningowych [4][5]. Przy ewaluacji własnego modelu warto sprawdzić, czy dane zadanie nie było już widziane podczas treningu.

Źródła

  1. MIT scientists build the world’s largest collection of Olympiad-level math problems, and open it to everyone (MIT, 2026)
  2. MathNet: a global multimodal benchmark for mathematical reasoning and retrieval (arXiv, 2026)
  3. MIT scientists build the world’s largest collection of Olympiad-level math problems, and open it to everyone — MIT Schwarzman College of Computing (MIT, 2026)
  4. MathNet — Explore 30,000+ Olympiad Math Problems (MathNet, 2026)
  5. ShadenA/MathNet · Datasets at Hugging Face (Hugging Face, 2026)
  6. World's largest collection of Olympiad-level math problems now available to everyone (Phys.org, 2026)
  7. Zadania Olimpiady Informatycznej (Olimpiada Informatyczna, 2026)
  8. Olimpiada AI - I OAI (Olimpiada Sztucznej Inteligencji, 2026)
  9. Pierwsze złoto Olimpiady Matematycznej zdobyte nie przez człowieka (Spider's Web, 2025)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji