News & analizy
Poziomy AGI Google DeepMind: co mierzy framework, a czego nie
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
Spis treści
Czym jest framework „Levels of AGI” od Google DeepMind?
To publikacja badawcza ośmioosobowego zespołu Google DeepMind zatytułowana „Levels of AGI: Operationalizing Progress on the Path to AGI”. Preprint ukazał się 4 listopada 2023 roku [1], wersja v2 – 5 stycznia 2024 roku [2], a wersja konferencyjna na ICML 2024, 21 lipca 2024 roku [3]. Praca nie ogłasza nowego modelu ani produktu. Proponuje wspólny język opisu postępu w kierunku AGI.
Autorzy wychodzą z problemu dobrze znanego badaniom nad sztuczną inteligencją: nie istnieje jedna uzgodniona definicja AGI. Celem pracy jest częściowe uporządkowanie wielu funkcjonujących definicji, a nie ogłoszenie, że problem pomiaru został rozwiązany [1][4]. Sposób rozumienia „ogólnej inteligencji” różni się między laboratoriami, co utrudnia porównywanie ich deklaracji [5].
Framework jest więc dokumentem pojęciowym. Nie zawiera kart wyników, nie opisuje procedury testowej i nie wskazuje progu, od którego system „jest AGI”. Zawiera słownik i progi opisowe, które można stosować w dokumentacji wewnętrznej.
Czy framework Levels of AGI to benchmark?
Nie. Framework jest klasyfikacją pojęciową, a nie testem. Autorzy zostawiają otwarte pytania o zestaw zadań, wymagany odsetek zaliczeń i standaryzację testów [2]. Wskazują równocześnie na potrzebę benchmarków ekologicznie trafnych, różnorodnych i „żywych”, aktualizowanych razem z rozwojem systemów [1][4].
To rozróżnienie ma praktyczne znaczenie. Organizacja, która szuka jednej metryki do oceny własnego modelu, nie znajdzie jej w tej pracy. Framework daje słownik i progi opisowe, nie wynik liczbowy. Media branżowe piszą o „mierzeniu AGI” w sposób uproszczony, a same laboratoria nie zgadzają się co do definicji [5]. Jak powstają benchmarki i dlaczego ich wybór jest decyzją strategiczną, opisujemy w tekście o benchmarkach AI i decyzji Nvidii.
Jakie poziomy wydajności wyróżnia framework?
Framework definiuje sześć etykiet od 0 do 5: No AI, Emerging, Competent, Expert, Virtuoso i Superhuman. W praktyce autorzy mówią o pięciu poziomach wydajności ponad poziomem „No AI” [1]. Progi opisano względem ludzi, a nie względem punktów w teście: Competent to co najmniej 50. percentyl wykwalifikowanych dorosłych, Expert – 90., Virtuoso – 99., a Superhuman oznacza wynik lepszy niż u wszystkich ludzi [2].
| Kryterium | Framework Levels of AGI | Klasyczny benchmark |
|---|---|---|
| Jednostka wyniku | próg percentylowy względem ludzi | odsetek poprawnych odpowiedzi |
| Zakres | wydajność, ogólność i autonomia osobno | jedno zadanie lub zestaw zadań |
| Aktualizacja | otwarte pytanie o standaryzację testów | nowe wersje zestawu testowego |
Nazwa poziomu nie mówi nic o szerokości zastosowań. Autorzy rozdzielają wydajność i ogólność: AlphaGo i Deep Blue to przykłady wąskiej, wysokiej wydajności, a poziomy Competent AGI i wyższe w tabeli ogólnej inteligencji oznaczono jako nieosiągnięte [1]. Popularne omówienia streszczają ten podział jako „sześć poziomów AGI” i traktują go jak skalę gotową do stosowania [6].
Jak framework traktuje autonomię?
Autonomia jest osobną osią, niezależną od wydajności. Framework wyróżnia poziomy od AI jako narzędzia, przez konsultanta, współpracownika i eksperta, po w pełni autonomicznego agenta [1]. Zdolność systemu nie jest tym samym co dopuszczony poziom jego autonomii.
To rozdzielenie jest użyteczne w praktyce. System może być bardzo dobry w wąskim zadaniu i pozostawać narzędziem, które wymaga zatwierdzenia każdej decyzji. Inny system może działać autonomicznie przy niższej wydajności. Framework pozwala opisać oba przypadki bez mieszania tych osi.
Jak czytać doniesienia o przełomach w AGI?
Deklaracje o przełomach warto czytać przez pryzmat definicji. Media branżowe informowały o plotkach, że zespół Google DeepMind mógł osiągnąć poziom rekurencyjnego samodoskonalenia [7]. Inne doniesienia wskazują, że według firmy przełom w zakresie AGI może nastąpić do końca tej dekady [8]. Żadna z tych informacji nie wynika z frameworku Levels of AGI i nie da się jej z nim zweryfikować.
Framework nie rozstrzyga, kiedy powstanie AGI. Daje natomiast zestaw pytań, które warto zadać przy każdej zapowiedzi: o jakiej wydajności mowa, w jak szerokim zakresie zadań i przy jakim poziomie autonomii. Bez tych trzech informacji zdanie „model jest blisko AGI” pozostaje opinią.
Co to oznacza dla firm i zespołów produktowych?
Dla zespołów, które wybierają model do konkretnego zadania, framework jest listą kontrolną, nie certyfikatem. Polecamy zacząć od opisu własnego przypadku: jakie zadania system ma wykonywać, jak szeroki jest ten zakres i ile decyzji ma podejmować samodzielnie. Dopiero potem warto porównywać modele.
Drugi krok to unikanie pojęć, których nie da się sprawdzić. Deklaracja „model na poziomie Expert” bez wskazania dziedziny i progu percentylowego niewiele mówi. W wewnętrznej dokumentacji lepiej opisać zakres zadań i sposób oceny jakości niż odwoływać się do etykiet z publikacji badawczej. Szerszy przegląd zastosowań opisujemy w tekście o praktycznych zastosowaniach AI.
Trzeci krok dotyczy autonomii. Warto zapisać, które decyzje system może podejmować bez zatwierdzenia, a które wymagają człowieka. Framework traktuje te wymiary osobno, więc taka deklaracja jest zgodna z jego logiką i czytelna dla odbiorców [1].
Najczęstsze pytania
Czy Levels of AGI to oficjalny standard?
Nie. To publikacja badawcza Google DeepMind, a nie standard przyjęty przez organizację normalizacyjną. Autorzy proponują wspólny język opisu i sami wskazują otwarte pytania o standaryzację testów [1][2]. Zastosowanie frameworku w dokumentacji wewnętrznej jest decyzją organizacji, nie wymogiem zewnętrznym.
Ile poziomów wyróżnia framework?
Sześć etykiet od 0 do 5: No AI, Emerging, Competent, Expert, Virtuoso i Superhuman. W praktyce autorzy mówią o pięciu poziomach wydajności ponad poziomem „No AI” [1]. Progi określono percentylami ludzi: 50., 90., 99. oraz przewaga nad wszystkimi ludźmi [2].
Czy framework mówi, jak blisko AGI jest GPT-4 albo Gemini?
Nie. Framework nie przypisuje konkretnym modelom poziomów w sposób pomiarowy. Autorzy umieszczają przykłady wąskiej, wysokiej wydajności po stronie wąskiej, a poziomy ogólne oznaczają jako nieosiągnięte [1]. Deklaracja o poziomie konkretnego modelu wymaga danych, których framework nie dostarcza.
Kiedy ukazała się praca?
Preprint ukazał się 4 listopada 2023 roku, wersja v2 – 5 stycznia 2024 roku, a wersja konferencyjna na ICML 2024, 21 lipca 2024 roku [1][2][3]. W obiegu pojawiają się inne daty, między innymi luty 2024 roku, ale nie odpowiadają one pierwszej publikacji.
Źródła
- Levels of AGI for Operationalizing Progress on the Path to AGI (arXiv, 2023)
- Levels of AGI: Operationalizing Progress on the Path to AGI (arXiv, 2023)
- ICML 2024 (Google DeepMind, 2024)
- Researchers seek consensus on what constitutes Artificial General Intelligence (TechXplore, 2023)
- Jak daleko do AGI? To zależy, kto mierzy (hAI Magazine)
- AGI – co to jest i jak blisko jesteśmy (Forum AI)
- Google ukrywa przełom? Giganci nagle stali się bardzo nerwowi (ITHardware)
- Prawdziwa sztuczna inteligencja coraz bliżej? DeepMind prognozuje (ITHardware)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji