News & analizy
Apple bada funkcję przedmiotów. SFI-Bench testuje modele AI
Zaktualizowano: Autor: Andrzej Niemiec8 min czytania
Apple opublikowało SFI-Bench: ponad 1700 pytań sprawdza, czy modele multimodalne łączą rozumowanie przestrzenne z wiedzą o funkcjach przedmiotów.
Spis treści
- Co dokładnie opublikowało Apple?
- Czym różni się rozumowanie przestrzenne od funkcjonalnego?
- Jakie zadania zawiera SFI-Bench?
- Czy to znaczy, że modele nie wiedzą, do czego służy młotek?
- Jak SFI-Bench wypada na tle innych testów?
- Czy dostęp do internetu zmienia wynik?
- Czym SFI-Bench różni się od badań Apple nad użyciem narzędzi?
- Co z tego wynika dla zespołów wdrażających modele?
- Jak wykorzystać taki benchmark we własnym projekcie?
- Najczęstsze pytania
- Źródła
Co dokładnie opublikowało Apple?
Pracę „From Where Things Are to What They’re For: Benchmarking Spatial–Functional Intelligence for Multimodal LLMs” udostępniono w serwisie Apple Machine Learning Research [1]. Autorzy przedstawiają w niej SFI-Bench, benchmark mierzący intelligence przestrzenno-funkcjonalną modeli multimodalnych. To materiał badawczy, nie zapowiedź funkcji Siri ani nowego produktu. Benchmark obejmuje ponad 1700 pytań z egocentrycznych skanów wnętrz, czyli nagrań z kamer noszonych przez ludzi [1]. Badanie omówił AppleInsider w materiale z 11 maja 2026 r. [2].
Czym różni się rozumowanie przestrzenne od funkcjonalnego?
Rozumowanie przestrzenne dotyczy układu obiektów i relacji między nimi. Rozumowanie funkcjonalne dotyczy przeznaczenia przedmiotu, sposobu użycia oraz możliwości zależnych od kontekstu [1]. SFI-Bench mierzy oba elementy razem, więc nie sprowadza się do pytania „gdzie leży ten obiekt?”. Model musi połączyć pamięć przestrzenną, wiedzę o funkcjach przedmiotów i wiedzę zewnętrzną [1]. Publikacja Apple pokazuje, że właśnie to połączenie jest najsłabszym ogniwem.
Jakie zadania zawiera SFI-Bench?
Zakres opisany w publikacji obejmuje liczenie warunkowe, wieloetapowe relacje przestrzenne, dobór funkcjonalny, planowanie obsługi urządzeń oraz diagnozowanie usterek [1]. Pytania są osadzone w nagraniach wnętrz, a nie w pojedynczych zdjęciach. Model musi więc śledzić kontekst w czasie: kolejność czynności, położenie przedmiotów i ich rolę w zadaniu. Autorzy nie podają w tym materiale rozkładu odpowiedzi dla konkretnych narzędzi, takich jak młotek czy śrubokręt [1].
Czy to znaczy, że modele nie wiedzą, do czego służy młotek?
Nie w tym sensie. Wniosek Apple jest węższy: modele mają stałe trudności z łączeniem trzech rodzajów wiedzy — przestrzennej, funkcjonalnej i zewnętrznej [1]. W publikacji nie ma twierdzenia, że model nie rozpoznaje funkcji młotka. Nie ma też przykładu asystenta głosowego, który na prośbę o narzędzie do przybicia gwoździa wskazuje obcęgi albo śrubokręt [1]. To rozróżnienie ma znaczenie praktyczne: problemem nie jest pojedyncze słowo ani pojedynczy przedmiot, ale wnioskowanie o funkcji w kontekście.
Jak SFI-Bench wypada na tle innych testów?
Trzy podejścia mierzą różne rzeczy i trudno je porównywać jednym wynikiem.
| Test | Co mierzy | Dane wejściowe | Czy ocenia użycie narzędzi |
|---|---|---|---|
| SFI-Bench [1] | Rozumowanie przestrzenne i funkcjonalne | Egocentryczne nagrania wnętrz | Nie, bada rozumienie funkcji |
| ToolSandbox [3] | Wykonywanie narzędzi programowych | Rozmowa i stan zadania | Tak, wieloetapowo |
| Golden set aplikacji [6] | Jakość funkcji opartych na LLM | Własne przypadki testowe | Nie, ocenia produkt |
Tabela pokazuje, dlaczego wynik z jednego testu nie przenosi się wprost na drugi. SFI-Bench odpowiada na pytanie o rozumienie funkcji przedmiotu, ToolSandbox o poprawne wywołanie narzędzia w rozmowie, a golden set o zachowanie konkretnej aplikacji.
Czy dostęp do internetu zmienia wynik?
Tak, według omówienia badania [2]. Modele korzystające z dostępu do sieci wypadały lepiej niż te działające wyłącznie na wiedzy zapisanej w parametrach [2]. To istotne ograniczenie porównań: wynik zależy od tego, czy model może sięgnąć po fakty zewnętrzne. Przy ocenie własnego wdrożenia warto więc zapisać, w jakim trybie model pracował — z dostępem do internetu czy bez.
Czym SFI-Bench różni się od badań Apple nad użyciem narzędzi?
Apple prowadzi osobny nurt prac nad tool use, czyli wybieraniem i wywoływaniem narzędzi programowych. Benchmark ToolSandbox ocenia stanowe, wieloetapowe wykonanie narzędzi [3]. Raport techniczny Apple Intelligence Foundation Language Models z 2025 r. opisuje model on-device o około 3 mld parametrów, model serwerowy oraz framework Swift z ograniczonym, strukturalnym wywoływaniem narzędzi [4][5]. To inny problem niż rozpoznanie fizycznej funkcji przedmiotu na nagraniu. Mylenie obu tematów prowadzi do błędnych wniosków o możliwościach Siri.
Co z tego wynika dla zespołów wdrażających modele?
Po pierwsze, warto rozdzielić testy percepcji od testów wnioskowania o funkcji. Model może poprawnie wskazać obiekt i nadal źle dobrać go do zadania [1]. Po drugie, wynik trzeba raportować razem z warunkami: trybem dostępu do internetu i typem danych wejściowych [2]. Po trzecie, test produktowy wymaga własnego zestawu przypadków, bo benchmark badawczy nie zastępuje kontroli jakości aplikacji [6]. Po czwarte, sama nazwa „intelligence” nie oznacza, że benchmark mierzy ogólną inteligencję. Warto też śledzić dyskusję o granicach rozumowania modeli, bo część wniosków z badań bywa nadinterpretowana [7].
Kontekst produktowy jest tu osobny. Apple Intelligence w wersji opisanej na stronie Apple obejmuje funkcje w iOS 27, iPadOS 27, macOS Golden Gate oraz watchOS 27 [8]. SFI-Bench nie jest testem tych funkcji. To narzędzie badawcze, które pozwala zrozumieć, gdzie modele multimodalne tracą spójność między tym, co widzą, a tym, co wiedzą o przeznaczeniu przedmiotów.
Jak wykorzystać taki benchmark we własnym projekcie?
Polecamy zacząć od rozdzielenia dwóch pytań: czy model widzi obiekt i czy rozumie jego rolę. Pierwsze pytanie sprawdzisz na zdjęciach, drugie wymaga kontekstu i sekwencji zdarzeń. Przygotuj własny zestaw przypadków z realnych zadań firmy, bo benchmark badawczy nie odwzorowuje waszej domeny. Ustal próg akceptacji przed testem, a nie po nim — wynik bez zdefiniowanego progu trudno porównać między wersjami modelu. Osobno zapisz tryb pracy modelu, bo dostęp do internetu zmienia rezultat [2]. Tak zbudowany zestaw można łączyć z praktykami z kontroli jakości aplikacji LLM, takimi jak kryteria akceptacji, golden set i regresja przy zmianie modelu [6]. Więcej o tym, jak oceniać modele i benchmarki, znajdziesz w tekście Benchmarki AI: dlaczego Nvidia postawiła na OpenClaw oraz w materiale o Google Search z AI.
Najczęstsze pytania
Czy SFI-Bench to oficjalny test Apple dla Siri?
Nie. SFI-Bench to benchmark badawczy opisany w publikacji Apple Machine Learning Research [1]. Nie ma dowodów, że służy do oceny Siri lub innego produktu konsumenckiego. Materiał dotyczy modeli multimodalnych oraz analizy obrazu i wideo, a nie rozpoznawania mowy. Dla zespołów produktowych to wskazówka metodologiczna, nie certyfikat jakości.
Ile pytań zawiera SFI-Bench?
Ponad 1700 [1]. Pytania pochodzą z egocentrycznych skanów wnętrz, czyli nagrań z kamer noszonych przez ludzi podczas codziennych czynności. Zestaw obejmuje liczenie warunkowe, wieloetapowe relacje przestrzenne, dobór funkcjonalny, planowanie obsługi urządzeń i diagnozowanie usterek [1]. Szczegółowy zakres opisuje sama publikacja.
Czy modele wypadają w SFI-Bench gorzej niż ludzie?
Publikacja nie podaje w tym materiale porównania z wynikiem ludzi [1]. Nie ma też potwierdzonych wartości procentowych dla poszczególnych modeli. Wiadomo natomiast, że autorzy wskazują na stałe trudności z łączeniem pamięci przestrzennej, wiedzy funkcjonalnej i wiedzy zewnętrznej [1]. Dlatego ostrożne wnioski są lepsze niż pojedyncze liczby z drugiej ręki.
Czy dostęp do internetu poprawia wyniki w SFI-Bench?
Według omówienia badania tak — modele z dostępem do sieci wypadały lepiej niż działające bez niego [2]. To ważne przy porównywaniu wyników, bo dwa modele mogą mieć ten sam rezultat tylko dlatego, że jeden korzystał z zewnętrznych źródeł. Przy własnych testach warto zapisać ten warunek w protokole.
Źródła
- From Where Things Are to What They’re For: Benchmarking Spatial–Functional Intelligence for Multimodal LLMs (Apple Machine Learning Research, 2026)
- Apple research examines LLMs spatial understanding, annotation (AppleInsider, 2026)
- ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities (Apple Machine Learning Research, 2024)
- Apple Intelligence Foundation Language Models Tech Report 2025 (Apple Machine Learning Research, 2025)
- Apple Intelligence Foundation Language Models (arXiv, 2025)
- Jak testować aplikacje z AI - praktyczny przewodnik dla QA (rwasik.pl, 2026)
- Modele AI nie rozumują? Ciekawe badania Apple (CyberDefence24, 2026)
- Apple Intelligence i Siri (Apple PL, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji