News & analizy
MathNet: 30 676 zadań olimpijskich, które testują rozumowanie AI
Zaktualizowano: Autor: Andrzej Niemiec11 min czytania
MathNet to ogłoszony w kwietniu 2026 roku zbiór 30 676 zadań olimpijskich i konkursowych z 47 krajów. Sprawdzamy, co zawiera, jak testuje modele i gdzie AI wciąż zawodzi.
Spis treści
- Czym jest MathNet i kto go stworzył?
- Ile zadań zawiera MathNet i skąd one pochodzą?
- Jakie testy wchodzą w skład MathNet?
- Jak radzą sobie modele w 2026 roku?
- Na czym modele wciąż zawodzą?
- Czy MathNet jest dostępny publicznie i jakie ma ograniczenia?
- Co MathNet oznacza dla polskich zespołów i edukacji?
- Najczęstsze pytania
- Źródła
Czym jest MathNet i kto go stworzył?
MathNet to publiczny zbiór zadań matematycznych na poziomie olimpijskim oraz zestaw benchmarków do oceny modeli AI. Ogłosili go w kwietniu 2026 roku badacze MIT CSAIL razem z KAUST i saudyjską firmą HUMAIN. Komunikat MIT ukazał się 24 kwietnia 2026 roku, a wersja artykułu naukowego na arXiv — 20 kwietnia 2026 roku [1][2][3].
Projekt nie jest wyłącznie akademickim archiwum. Twórcy udostępnili serwis do przeglądania zadań, sam dataset oraz benchmarki, które mają mierzyć rozumowanie matematyczne, wyszukiwanie podobnych problemów i wpływ dostarczonego kontekstu na rozwiązanie [4].
Ile zadań zawiera MathNet i skąd one pochodzą?
Główny korpus liczy 30 676 problemów wraz z rozwiązaniami przygotowanymi przez ekspertów [2]. Materiał pochodzi z oficjalnych biuletynów konkursowych wydanych w latach 1985–2025: łącznie 1595 tomów PDF i ponad 25 tysięcy stron [2][5].
| Parametr | Wartość |
|---|---|
| Problemy w głównym korpusie | 30 676 |
| Kraje pochodzenia | 47 |
| Języki | 17 |
| Konkursy | 143 |
| Lata biuletynów źródłowych | 1985–2025 |
| Objętość materiałów źródłowych | 1595 tomów PDF, ponad 25 tys. stron |
Zakres jest szerszy, niż sugeruje potoczna nazwa „zadania olimpijskie”. Zbiór obejmuje problemy z olimpiad krajowych i międzynarodowych, konkursów oraz egzaminów selekcyjnych, a nie wyłącznie zadania z Międzynarodowej Olimpiady Matematycznej [2]. Dla zespołów pracujących nad modelami oznacza to trudniejszy test: część zadań pochodzi z mniej znanych konkursów, więc model nie może oprzeć się na schematach znanych z najpopularniejszych arkuszy.
Jakie testy wchodzą w skład MathNet?
Twórcy przygotowali trzy odrębne zadania pomiarowe [2][4]. MathNet-Solve sprawdza, czy model potrafi rozwiązać problem. MathNet-Retrieve testuje wyszukiwanie zadań matematycznie równoważnych lub strukturalnie podobnych. MathNet-RAG mierzy, jak dostarczony kontekst wpływa na jakość rozwiązania.
Podział ma praktyczne znaczenie. Model może dobrze rozwiązywać zadania i jednocześnie słabo odnajdywać podobne problemy w dużym korpusie. Osobny test dla wyszukiwania pokazuje, że sama zdolność liczenia nie wystarcza w zastosowaniach edukacyjnych, gdzie trzeba dobrać zadanie o zbliżonej strukturze.
Jak radzą sobie modele w 2026 roku?
W teście obejmującym 6400 zadań GPT-5 uzyskał około 69,3%, a najlepszy raportowany model, Gemini-3.1-Pro, 78,4% [4][6]. To wynik wyraźnie wyższy niż w starszych zestawieniach, ale wciąż oznacza, że co piąte zadanie pozostaje nierozwiązane.
| Kryterium | Gemini-3.1-Pro | GPT-5 | Wybrane modele open source |
|---|---|---|---|
| MathNet-Solve (6400 zadań) | 78,4% | ok. 69,3% | brak pełnego wyniku w źródłach |
| Zadania zawierające figury | wyraźnie niższa skuteczność | wyraźnie niższa skuteczność | wyraźnie niższa skuteczność |
| Zadania w rzadkich językach | nie raportowano osobno | nie raportowano osobno | 0% na zadaniach po mongolsku |
Luka między czołowymi modelami a resztą stawki jest duża. Modele open source wypadały słabiej, a w przypadku zadań w języku mongolskim część z nich osiągnęła 0% [1][6]. Wyniki zależą więc nie tylko od architektury, ale też od reprezentacji danego języka w danych treningowych.
Na czym modele wciąż zawodzą?
Najsłabszym punktem pozostają zadania, w których trzeba odczytać lub wyobrazić sobie figurę. Modele gorzej radzą sobie z problemami graficznymi niż z zadaniami zapisanymi wyłącznie tekstem [1][6]. Drugi obszar to wyszukiwanie podobnych problemów: najlepsze modele embeddingowe osiągały poniżej 5% skuteczności Top-1 [6]. W praktyce system oparty wyłącznie na wyszukiwaniu wektorowym rzadko wskaże właściwe zadanie za pierwszym razem.
Trzeci obszar to języki. Zbiór obejmuje 17 języków, a wyniki pokazują, że dla rzadszych języków jakość spada dramatycznie [2][6]. Źródła nie precyzują, czy w tej grupie znajduje się polski.
Czy MathNet jest dostępny publicznie i jakie ma ograniczenia?
Zbiór i serwis są dostępne pod adresem mathnet.mit.edu, a dataset opublikowano również na Hugging Face [4][5]. Otwarty dostęp nie oznacza jednak, że benchmark jest wolny od ryzyka kontaminacji: część zadań mogła wcześniej pojawić się w publicznych korpusach wykorzystywanych do trenowania modeli [4][5]. Przy interpretacji wysokich wyników trzeba to brać pod uwagę.
Co MathNet oznacza dla polskich zespołów i edukacji?
Zbiór jest użyteczny wszędzie tam, gdzie trzeba zmierzyć rozumowanie, a nie odtwarzanie schematów: w projektach edukacyjnych, w pracach R&D nad modelami matematycznymi i w ocenie systemów przed wdrożeniem. Polska ma własne zaplecze konkursowe — zadania Olimpiady Informatycznej są dostępne publicznie [7], działa też Olimpiada Sztucznej Inteligencji adresowana do uczniów [8].
Kontekst jest szerszy niż jeden benchmark. W lipcu 2025 roku media opisywały pierwsze złoto olimpiady matematycznej zdobyte przez system AI, choć część komentatorów podważała praktyczną wartość tego wyniku [9]. MathNet wpisuje się w ten sam nurt: nie chodzi o pojedynczy popis, ale o powtarzalny pomiar. Praktyczne zastosowania benchmarków w firmach opisujemy w tekście o wdrażaniu AI od pilotażu do produkcji, a kwestie jakości pomiaru — w artykule o benchmarkach AI i OpenClaw. Dla zespołów pracujących z modelami kodującymi przydatny będzie też materiał o Codexie w data science.
Najczęstsze pytania
Czym MathNet różni się od typowego zbioru zadań szkolnych?
MathNet zawiera zadania z olimpiad i konkursów, a nie ćwiczenia szkolne. Główny korpus liczy 30 676 problemów z rozwiązaniami eksperckimi, zebranych z biuletynów z lat 1985–2025 [2]. Większość wymaga dowodu lub kilkuetapowego rozumowania, a nie podstawienia do wzoru [2].
Kto stworzył MathNet?
Projekt przygotowały zespoły MIT CSAIL, KAUST oraz saudyjskiej firmy HUMAIN [3]. Komunikat MIT ukazał się 24 kwietnia 2026 roku, a artykuł naukowy na arXiv — 20 kwietnia 2026 roku [1][2]. Zbiór jest publicznie dostępny pod adresem mathnet.mit.edu [4].
Który model wypada najlepiej w MathNet?
W raportowanych wynikach najlepszy jest Gemini-3.1-Pro z 78,4% w teście 6400 zadań [4][6]. GPT-5 osiągnął około 69,3% [4][6]. Żaden z modeli nie rozwiązuje jednak wszystkich problemów, a największe trudności sprawiają zadania z figurami i w rzadkich językach [1][6].
Czy MathNet zawiera zadania w języku polskim?
Źródła podają, że zbiór obejmuje 17 języków, ale nie wymieniają ich listy [2]. Nie ma więc potwierdzenia, że polski znajduje się w tej grupie. Polskie materiały konkursowe trzeba pozyskiwać z rodzimych źródeł, takich jak archiwum Olimpiady Informatycznej [7].
Czy MathNet można wykorzystać do trenowania własnego modelu?
Twórcy udostępnili dataset na Hugging Face, więc materiał można pobrać [5]. Trzeba jednak pamiętać o ryzyku kontaminacji: część zadań mogła wcześniej trafić do publicznych korpusów treningowych [4][5]. Przy ewaluacji własnego modelu warto sprawdzić, czy dane zadanie nie było już widziane podczas treningu.
Źródła
- MIT scientists build the world’s largest collection of Olympiad-level math problems, and open it to everyone (MIT, 2026)
- MathNet: a global multimodal benchmark for mathematical reasoning and retrieval (arXiv, 2026)
- MIT scientists build the world’s largest collection of Olympiad-level math problems, and open it to everyone — MIT Schwarzman College of Computing (MIT, 2026)
- MathNet — Explore 30,000+ Olympiad Math Problems (MathNet, 2026)
- ShadenA/MathNet · Datasets at Hugging Face (Hugging Face, 2026)
- World's largest collection of Olympiad-level math problems now available to everyone (Phys.org, 2026)
- Zadania Olimpiady Informatycznej (Olimpiada Informatyczna, 2026)
- Olimpiada AI - I OAI (Olimpiada Sztucznej Inteligencji, 2026)
- Pierwsze złoto Olimpiady Matematycznej zdobyte nie przez człowieka (Spider's Web, 2025)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji