News & analizy
Czy AI rozumie świat? Co testy GPT-4 mówią o rozumieniu przestrzeni
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
GPT-4-Turbo rekonstruuje ścieżkę poprawnie w 16,2% przypadków, GPT-4o osiąga 71,3% w innym teście. Co naprawdę wiadomo o rozumieniu przestrzeni przez modele językowe.
Spis treści
- Czy AI rozumie świat lepiej niż człowiek?
- Skąd wzięło się przekonanie, że model językowy „widzi” rzeczywistość?
- Czym były pluginy ChatGPT i dlaczego nie dawały modelowi „oczu”?
- Jak GPT-4 wypada w zadaniach przestrzennych?
- Dlaczego jeden benchmark nie rozstrzyga o „rozumieniu świata”?
- Co o ograniczeniach modelu mówi sam raport techniczny?
- Jak sprawdzić taki wynik samodzielnie?
- Najczęstsze pytania
- Źródła
Czy AI rozumie świat lepiej niż człowiek?
Nie ma danych, które pozwalałyby odpowiedzieć na to pytanie twierdząco lub przecząco w sposób ogólny. Obraz z badań jest nierówny: modele wypadają dobrze w jednych zadaniach przestrzennych, a w innych bardzo słabo. Brakuje też wspólnej definicji „rozumienia świata”, więc każdy wynik zależy od tego, co dokładnie zmierzono. Poniżej rozkładamy to na konkretne testy i liczby.
Pytanie wraca regularnie, bo odpowiedzi modeli brzmią przekonująco. Spójny opis biura, fabryki czy trasy sugeruje, że system zna układ pomieszczenia. Tymczasem sama płynność tekstu nie mówi nic o tym, czy model dysponuje modelem przestrzeni — trzeba to sprawdzić osobnym testem, z jawnie określonym zadaniem i kryterium poprawności.
Skąd wzięło się przekonanie, że model językowy „widzi” rzeczywistość?
Z językowej sprawności modelu. Model, który potrafi szczegółowo opisać biuro, sprawia wrażenie, że zna realny układ pomieszczenia, choć operuje na wzorcach z tekstów, a nie na pomiarach twojego budynku.
Punktem odniesienia jest tu GPT-4, ogłoszony 14 marca 2023 r. [1], którego raport techniczny opublikowano 27 marca 2023 r. [2]. Dokument opisuje model jako system przewidujący kolejne słowa na podstawie danych tekstowych. To wystarcza do bardzo dobrych odpowiedzi opisowych, ale nie daje dostępu do planu pomieszczeń, współrzędnych mebli ani odległości w twojej firmie. Bez tych danych pytanie „ile kroków dzieli biurko od ekspresu” nie ma dla modelu punktu zaczepienia.
Czym były pluginy ChatGPT i dlaczego nie dawały modelowi „oczu”?
Były interfejsem do zewnętrznych usług, nie zmysłem modelu. Pozwalały pobrać dane, wykonać obliczenia albo wywołać API innej firmy, ale nie dostarczały wiedzy o fizycznym otoczeniu, której nikt wcześniej nie wprowadził do systemu.
Pluginy uruchomiono 23 marca 2023 r. w ograniczonej alfie [3]. Model mógł dzięki nim sięgnąć po treści z zewnątrz, jednak sam plugin był wyłącznie bramką do konkretnego serwisu [4]. Żeby odpowiedzieć na pytanie o odległość w prywatnym biurze, potrzebny byłby osobny, uprawniony system z planem budynku lub danymi pomiarowymi — plugin sam z siebie tego nie zastępował. Nowe rozmowy z pluginami zamknięto 19 marca 2024 r., a istniejące przestały działać 9 kwietnia 2024 r. [4]. Oznacza to, że żadnego świeżego testu w tej konfiguracji nie da się już powtórzyć w oficjalnym ChatGPT.
Jak GPT-4 wypada w zadaniach przestrzennych?
Słabo w testach sformalizowanych, dobrze w części zadań opisowych. Wynik zmienia się jednak tak mocno między benchmarkami, że nie wolno sklejać ich w jedną ocenę.
W benchmarku PLUGH GPT-4-Turbo uzyskał 16,2% w rekonstrukcji ścieżki i 18,6% w nowym dla modelu wariancie najkrótszej drogi w trybie zero-shot [5]. W osobnym, wielozadaniowym badaniu GPT-4o osiągnął 71,3% ważonej poprawności na 900 zadaniach, choć trudniejsze przypadki nadal sprawiały mu problem [6]. Różnica między tymi liczbami wynika przede wszystkim z innego rodzaju zadania, a nie z tego, że jeden model jest kilkakrotnie lepszy w rozumieniu przestrzeni.
| Kryterium | GPT-4-Turbo (PLUGH) | GPT-4o (benchmark wielozadaniowy) |
|---|---|---|
| Typ zadania | rekonstrukcja ścieżki i najkrótsza droga na planie | 900 zadań o różnym typie i rosnącej trudności |
| Zmierzony wynik | 16,2% oraz 18,6% w trybie zero-shot | 71,3% ważonej poprawności |
| Co dokładnie mierzono | odtworzenie trasy zgodnie z regułami poruszania się | poprawność odpowiedzi zależna od kategorii zadania |
| Źródło | [5] | [6] |
Tabela nie służy do porównania obu modeli 1:1. Zestawia dwa różne pomiary i pokazuje, jak bardzo wynik zależy od konstrukcji testu — co samo w sobie jest ważniejszym wnioskiem niż ranking. Podobny problem widać w szerszych przeglądach benchmarków, takich jak omówienie Benchmarki AI: dlaczego Nvidia postawiła na OpenClaw zamiast kolejnego hype'u.
Dlaczego jeden benchmark nie rozstrzyga o „rozumieniu świata”?
Bo wynik zależy od modelu, jego wersji, promptu, dostarczonych danych, dostępnych narzędzi, kryterium poprawności i liczby powtórzeń. Ta sama nazwa modelu w dwóch testach może dać skrajnie różne liczby, a oba wyniki mogą być poprawne.
Przegląd badań geoprzestrzennych wskazuje, że modele mają zarówno mocne strony, jak i wyraźne ograniczenia w rozumowaniu przestrzennym, a wyników nie należy ekstrapolować poza warunki testu [7]. Osobne porównanie ChatGPT-4, Gemini, Claude-3 i Copilot pokazuje dodatkowo, że różnice między systemami są zależne od zadania, a nie stałe [8]. Wniosek o „braku rozumienia świata” na podstawie jednej porażki jest więc nadinterpretacją — równie nieuprawniony jak ogłoszenie sukcesu po jednym dobrym wyniku.
Co o ograniczeniach modelu mówi sam raport techniczny?
Raport OpenAI wymienia je wprost: model halucynuje, popełnia błędy rozumowania, bywa pewny błędnej odpowiedzi i nie uczy się z doświadczenia w trakcie rozmowy [2]. To zestaw ograniczeń, który tłumaczy, dlaczego odpowiedź o odległości w biurze może brzmieć wiarygodnie i być błędna jednocześnie.
Osobna praca opisuje trwałe problemy GPT-4 z informacją przestrzenną — model nie buduje z tekstu spójnej reprezentacji układu obiektów, więc zadania wymagające wyobrażenia sobie pomieszczenia są dla niego trudne [9]. W praktyce oznacza to, że pewność wypowiedzi nie jest dowodem poprawności, a pytanie o fizyczne otoczenie wymaga dostarczenia danych, nie zaufania do tonu odpowiedzi. Ten sam mechanizm widać w systemach wyszukiwania opartych na modelach, opisanych w tekście Google Search z AI: dlaczego to nie chatbot, a całkowita zmiana gry.
Jak sprawdzić taki wynik samodzielnie?
Zbuduj test, który da się powtórzyć. Bez tego każdy wynik jest anegdotą, a nie pomiarem.
Rzetelny test zawiera plan biura lub zdjęcie, współrzędne biurka i ekspresu, definicję kroku, reguły poruszania się, dokładną wersję modelu i użytego pluginu, pełny prompt oraz zapisaną odpowiedź. Do tego potrzebne jest porównanie z pomiarem człowieka lub algorytmem wyznaczającym trasę. Dopiero tak przygotowany eksperyment pozwala powiedzieć, czy model pomylił się w rozumowaniu, czy po prostu nie otrzymał danych, których zadanie wymagało.
Polecamy zacząć od małego, zamkniętego zadania: jedna mapa, dwa punkty, jasne reguły. Jeśli model nie potrafi rozwiązać go powtarzalnie, nie ma sensu dokładać kolejnych pięter budynku.
Najczęstsze pytania
Czy GPT-4 potrafi policzyć kroki od biurka do ekspresu w biurze?
Nie ma potwierdzonego wyniku takiego testu. Model nie zna planu twojego biura, chyba że dostarczysz mu mapę, zdjęcie lub dane pomiarowe. W sformalizowanym benchmarku PLUGH GPT-4-Turbo odtworzył poprawnie ścieżkę w 16,2% przypadków [5], a zadania z mapą i regułami ruchu należą do najtrudniejszych dla modeli językowych.
Czy pluginy ChatGPT nadal działają?
Nie. Nowe rozmowy z pluginami zamknięto 19 marca 2024 r., a istniejące przestały działać 9 kwietnia 2024 r. [4]. Plugin był interfejsem do zewnętrznych usług, a nie zmysłem modelu, więc jego wycofanie nie zmieniło samych ograniczeń rozumowania przestrzennego. Współczesne narzędzia zastępują go innymi mechanizmami dostępu do danych.
Co to są modele świata (world models)?
To nazwa używana na określenie systemów, które uczą się symulować otoczenie, a nie tylko przewidywać kolejny fragment tekstu. W źródłach wykorzystanych w tym artykule nie ma publikacji, która definiowałaby ten termin precyzyjnie i podawała mierzalne wyniki takich systemów. Traktuj go jako opis kierunku badań, nie jako gotowy produkt z parametrami.
Czy wynik 16,2% oznacza, że AI w ogóle nie rozumie przestrzeni?
Nie. Ten wynik dotyczy jednego zadania: rekonstrukcji ścieżki w benchmarku PLUGH w trybie zero-shot [5]. W innym, wielozadaniowym badaniu GPT-4o osiągnął 71,3% ważonej poprawności na 900 zadaniach [6]. Wniosek o całkowitym braku rozumienia byłby ekstrapolacją poza to, co faktycznie zmierzono w obu testach.
Jak porównywać modele w zadaniach przestrzennych?
Używaj tego samego zadania, tej samej wersji modelu i tych samych danych wejściowych dla wszystkich porównywanych systemów. Zapisuj pełny prompt i odpowiedź, powtarzaj próby i zestawiaj wynik z pomiarem człowieka lub algorytmem wyznaczającym trasę. Bez tego różnice mogą wynikać z promptu, a nie z rzeczywistych zdolności modelu [7][8].
Źródła
- GPT-4 (Wikipedia, 2026)
- GPT-4 Technical Report (OpenAI, 2023)
- ChatGPT plugins are here! (OpenAI Developer Community, 2023)
- ChatGPT plugins (AI Wiki, 2026)
- PLUGH: A Benchmark for Spatial Understanding and Reasoning in Large Language Models (arXiv, 2024)
- Evaluating Large Language Models on Spatial Tasks: A Multi-Task Benchmarking Study (arXiv, 2024)
- Evaluating large language models on geospatial tasks: a multiple geospatial task benchmarking study (Taylor & Francis, 2025)
- Correctness Comparison of ChatGPT-4, Gemini, Claude-3, and Copilot (arXiv, 2024)
- Inherent limitations of GPT-4 regarding spatial information (arXiv, 2023)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji