Przejdź do treści

News & analizy

Apple bada funkcję przedmiotów. SFI-Bench testuje modele AI

Zaktualizowano: Autor: Andrzej Niemiec8 min czytania

Apple opublikowało SFI-Bench: ponad 1700 pytań sprawdza, czy modele multimodalne łączą rozumowanie przestrzenne z wiedzą o funkcjach przedmiotów.

Apple bada funkcję przedmiotów. SFI-Bench testuje modele AI
Spis treści
  1. Co dokładnie opublikowało Apple?
  2. Czym różni się rozumowanie przestrzenne od funkcjonalnego?
  3. Jakie zadania zawiera SFI-Bench?
  4. Czy to znaczy, że modele nie wiedzą, do czego służy młotek?
  5. Jak SFI-Bench wypada na tle innych testów?
  6. Czy dostęp do internetu zmienia wynik?
  7. Czym SFI-Bench różni się od badań Apple nad użyciem narzędzi?
  8. Co z tego wynika dla zespołów wdrażających modele?
  9. Jak wykorzystać taki benchmark we własnym projekcie?
  10. Najczęstsze pytania
  11. Źródła

Co dokładnie opublikowało Apple?

Pracę „From Where Things Are to What They’re For: Benchmarking Spatial–Functional Intelligence for Multimodal LLMs” udostępniono w serwisie Apple Machine Learning Research [1]. Autorzy przedstawiają w niej SFI-Bench, benchmark mierzący intelligence przestrzenno-funkcjonalną modeli multimodalnych. To materiał badawczy, nie zapowiedź funkcji Siri ani nowego produktu. Benchmark obejmuje ponad 1700 pytań z egocentrycznych skanów wnętrz, czyli nagrań z kamer noszonych przez ludzi [1]. Badanie omówił AppleInsider w materiale z 11 maja 2026 r. [2].

Czym różni się rozumowanie przestrzenne od funkcjonalnego?

Rozumowanie przestrzenne dotyczy układu obiektów i relacji między nimi. Rozumowanie funkcjonalne dotyczy przeznaczenia przedmiotu, sposobu użycia oraz możliwości zależnych od kontekstu [1]. SFI-Bench mierzy oba elementy razem, więc nie sprowadza się do pytania „gdzie leży ten obiekt?”. Model musi połączyć pamięć przestrzenną, wiedzę o funkcjach przedmiotów i wiedzę zewnętrzną [1]. Publikacja Apple pokazuje, że właśnie to połączenie jest najsłabszym ogniwem.

Jakie zadania zawiera SFI-Bench?

Zakres opisany w publikacji obejmuje liczenie warunkowe, wieloetapowe relacje przestrzenne, dobór funkcjonalny, planowanie obsługi urządzeń oraz diagnozowanie usterek [1]. Pytania są osadzone w nagraniach wnętrz, a nie w pojedynczych zdjęciach. Model musi więc śledzić kontekst w czasie: kolejność czynności, położenie przedmiotów i ich rolę w zadaniu. Autorzy nie podają w tym materiale rozkładu odpowiedzi dla konkretnych narzędzi, takich jak młotek czy śrubokręt [1].

Czy to znaczy, że modele nie wiedzą, do czego służy młotek?

Nie w tym sensie. Wniosek Apple jest węższy: modele mają stałe trudności z łączeniem trzech rodzajów wiedzy — przestrzennej, funkcjonalnej i zewnętrznej [1]. W publikacji nie ma twierdzenia, że model nie rozpoznaje funkcji młotka. Nie ma też przykładu asystenta głosowego, który na prośbę o narzędzie do przybicia gwoździa wskazuje obcęgi albo śrubokręt [1]. To rozróżnienie ma znaczenie praktyczne: problemem nie jest pojedyncze słowo ani pojedynczy przedmiot, ale wnioskowanie o funkcji w kontekście.

Jak SFI-Bench wypada na tle innych testów?

Trzy podejścia mierzą różne rzeczy i trudno je porównywać jednym wynikiem.

TestCo mierzyDane wejścioweCzy ocenia użycie narzędzi
SFI-Bench [1]Rozumowanie przestrzenne i funkcjonalneEgocentryczne nagrania wnętrzNie, bada rozumienie funkcji
ToolSandbox [3]Wykonywanie narzędzi programowychRozmowa i stan zadaniaTak, wieloetapowo
Golden set aplikacji [6]Jakość funkcji opartych na LLMWłasne przypadki testoweNie, ocenia produkt

Tabela pokazuje, dlaczego wynik z jednego testu nie przenosi się wprost na drugi. SFI-Bench odpowiada na pytanie o rozumienie funkcji przedmiotu, ToolSandbox o poprawne wywołanie narzędzia w rozmowie, a golden set o zachowanie konkretnej aplikacji.

Czy dostęp do internetu zmienia wynik?

Tak, według omówienia badania [2]. Modele korzystające z dostępu do sieci wypadały lepiej niż te działające wyłącznie na wiedzy zapisanej w parametrach [2]. To istotne ograniczenie porównań: wynik zależy od tego, czy model może sięgnąć po fakty zewnętrzne. Przy ocenie własnego wdrożenia warto więc zapisać, w jakim trybie model pracował — z dostępem do internetu czy bez.

Czym SFI-Bench różni się od badań Apple nad użyciem narzędzi?

Apple prowadzi osobny nurt prac nad tool use, czyli wybieraniem i wywoływaniem narzędzi programowych. Benchmark ToolSandbox ocenia stanowe, wieloetapowe wykonanie narzędzi [3]. Raport techniczny Apple Intelligence Foundation Language Models z 2025 r. opisuje model on-device o około 3 mld parametrów, model serwerowy oraz framework Swift z ograniczonym, strukturalnym wywoływaniem narzędzi [4][5]. To inny problem niż rozpoznanie fizycznej funkcji przedmiotu na nagraniu. Mylenie obu tematów prowadzi do błędnych wniosków o możliwościach Siri.

Co z tego wynika dla zespołów wdrażających modele?

Po pierwsze, warto rozdzielić testy percepcji od testów wnioskowania o funkcji. Model może poprawnie wskazać obiekt i nadal źle dobrać go do zadania [1]. Po drugie, wynik trzeba raportować razem z warunkami: trybem dostępu do internetu i typem danych wejściowych [2]. Po trzecie, test produktowy wymaga własnego zestawu przypadków, bo benchmark badawczy nie zastępuje kontroli jakości aplikacji [6]. Po czwarte, sama nazwa „intelligence” nie oznacza, że benchmark mierzy ogólną inteligencję. Warto też śledzić dyskusję o granicach rozumowania modeli, bo część wniosków z badań bywa nadinterpretowana [7].

Kontekst produktowy jest tu osobny. Apple Intelligence w wersji opisanej na stronie Apple obejmuje funkcje w iOS 27, iPadOS 27, macOS Golden Gate oraz watchOS 27 [8]. SFI-Bench nie jest testem tych funkcji. To narzędzie badawcze, które pozwala zrozumieć, gdzie modele multimodalne tracą spójność między tym, co widzą, a tym, co wiedzą o przeznaczeniu przedmiotów.

Jak wykorzystać taki benchmark we własnym projekcie?

Polecamy zacząć od rozdzielenia dwóch pytań: czy model widzi obiekt i czy rozumie jego rolę. Pierwsze pytanie sprawdzisz na zdjęciach, drugie wymaga kontekstu i sekwencji zdarzeń. Przygotuj własny zestaw przypadków z realnych zadań firmy, bo benchmark badawczy nie odwzorowuje waszej domeny. Ustal próg akceptacji przed testem, a nie po nim — wynik bez zdefiniowanego progu trudno porównać między wersjami modelu. Osobno zapisz tryb pracy modelu, bo dostęp do internetu zmienia rezultat [2]. Tak zbudowany zestaw można łączyć z praktykami z kontroli jakości aplikacji LLM, takimi jak kryteria akceptacji, golden set i regresja przy zmianie modelu [6]. Więcej o tym, jak oceniać modele i benchmarki, znajdziesz w tekście Benchmarki AI: dlaczego Nvidia postawiła na OpenClaw oraz w materiale o Google Search z AI.

Najczęstsze pytania

Czy SFI-Bench to oficjalny test Apple dla Siri?

Nie. SFI-Bench to benchmark badawczy opisany w publikacji Apple Machine Learning Research [1]. Nie ma dowodów, że służy do oceny Siri lub innego produktu konsumenckiego. Materiał dotyczy modeli multimodalnych oraz analizy obrazu i wideo, a nie rozpoznawania mowy. Dla zespołów produktowych to wskazówka metodologiczna, nie certyfikat jakości.

Ile pytań zawiera SFI-Bench?

Ponad 1700 [1]. Pytania pochodzą z egocentrycznych skanów wnętrz, czyli nagrań z kamer noszonych przez ludzi podczas codziennych czynności. Zestaw obejmuje liczenie warunkowe, wieloetapowe relacje przestrzenne, dobór funkcjonalny, planowanie obsługi urządzeń i diagnozowanie usterek [1]. Szczegółowy zakres opisuje sama publikacja.

Czy modele wypadają w SFI-Bench gorzej niż ludzie?

Publikacja nie podaje w tym materiale porównania z wynikiem ludzi [1]. Nie ma też potwierdzonych wartości procentowych dla poszczególnych modeli. Wiadomo natomiast, że autorzy wskazują na stałe trudności z łączeniem pamięci przestrzennej, wiedzy funkcjonalnej i wiedzy zewnętrznej [1]. Dlatego ostrożne wnioski są lepsze niż pojedyncze liczby z drugiej ręki.

Czy dostęp do internetu poprawia wyniki w SFI-Bench?

Według omówienia badania tak — modele z dostępem do sieci wypadały lepiej niż działające bez niego [2]. To ważne przy porównywaniu wyników, bo dwa modele mogą mieć ten sam rezultat tylko dlatego, że jeden korzystał z zewnętrznych źródeł. Przy własnych testach warto zapisać ten warunek w protokole.

Źródła

  1. From Where Things Are to What They’re For: Benchmarking Spatial–Functional Intelligence for Multimodal LLMs (Apple Machine Learning Research, 2026)
  2. Apple research examines LLMs spatial understanding, annotation (AppleInsider, 2026)
  3. ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities (Apple Machine Learning Research, 2024)
  4. Apple Intelligence Foundation Language Models Tech Report 2025 (Apple Machine Learning Research, 2025)
  5. Apple Intelligence Foundation Language Models (arXiv, 2025)
  6. Jak testować aplikacje z AI - praktyczny przewodnik dla QA (rwasik.pl, 2026)
  7. Modele AI nie rozumują? Ciekawe badania Apple (CyberDefence24, 2026)
  8. Apple Intelligence i Siri (Apple PL, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji