Przejdź do treści

News & analizy

Poziomy AGI Google DeepMind: co mierzy framework, a czego nie

Zaktualizowano: Autor: Andrzej Niemiec6 min czytania

Framework „Levels of AGI” porządkuje rozmowę o sztucznej inteligencji ogólnej. Nie daje jednej liczby, którą można wpisać do raportu, ale pozwala precyzyjnie nazwać, czego dotyczy dana deklaracja: głębokości kompetencji, szerokości zadań czy poziomu autonomii. To rozróżnienie jest dziś bardziej użyteczne niż pytanie „czy to już AGI” [1].
Poziomy AGI Google DeepMind: co mierzy framework, a czego nie
Spis treści
  1. Czym jest framework „Levels of AGI” od Google DeepMind?
  2. Czy framework Levels of AGI to benchmark?
  3. Jakie poziomy wydajności wyróżnia framework?
  4. Jak framework traktuje autonomię?
  5. Jak czytać doniesienia o przełomach w AGI?
  6. Co to oznacza dla firm i zespołów produktowych?
  7. Najczęstsze pytania
  8. Źródła

Czym jest framework „Levels of AGI” od Google DeepMind?

To publikacja badawcza ośmioosobowego zespołu Google DeepMind zatytułowana „Levels of AGI: Operationalizing Progress on the Path to AGI”. Preprint ukazał się 4 listopada 2023 roku [1], wersja v2 – 5 stycznia 2024 roku [2], a wersja konferencyjna na ICML 2024, 21 lipca 2024 roku [3]. Praca nie ogłasza nowego modelu ani produktu. Proponuje wspólny język opisu postępu w kierunku AGI.

Autorzy wychodzą z problemu dobrze znanego badaniom nad sztuczną inteligencją: nie istnieje jedna uzgodniona definicja AGI. Celem pracy jest częściowe uporządkowanie wielu funkcjonujących definicji, a nie ogłoszenie, że problem pomiaru został rozwiązany [1][4]. Sposób rozumienia „ogólnej inteligencji” różni się między laboratoriami, co utrudnia porównywanie ich deklaracji [5].

Framework jest więc dokumentem pojęciowym. Nie zawiera kart wyników, nie opisuje procedury testowej i nie wskazuje progu, od którego system „jest AGI”. Zawiera słownik i progi opisowe, które można stosować w dokumentacji wewnętrznej.

Czy framework Levels of AGI to benchmark?

Nie. Framework jest klasyfikacją pojęciową, a nie testem. Autorzy zostawiają otwarte pytania o zestaw zadań, wymagany odsetek zaliczeń i standaryzację testów [2]. Wskazują równocześnie na potrzebę benchmarków ekologicznie trafnych, różnorodnych i „żywych”, aktualizowanych razem z rozwojem systemów [1][4].

To rozróżnienie ma praktyczne znaczenie. Organizacja, która szuka jednej metryki do oceny własnego modelu, nie znajdzie jej w tej pracy. Framework daje słownik i progi opisowe, nie wynik liczbowy. Media branżowe piszą o „mierzeniu AGI” w sposób uproszczony, a same laboratoria nie zgadzają się co do definicji [5]. Jak powstają benchmarki i dlaczego ich wybór jest decyzją strategiczną, opisujemy w tekście o benchmarkach AI i decyzji Nvidii.

Jakie poziomy wydajności wyróżnia framework?

Framework definiuje sześć etykiet od 0 do 5: No AI, Emerging, Competent, Expert, Virtuoso i Superhuman. W praktyce autorzy mówią o pięciu poziomach wydajności ponad poziomem „No AI” [1]. Progi opisano względem ludzi, a nie względem punktów w teście: Competent to co najmniej 50. percentyl wykwalifikowanych dorosłych, Expert – 90., Virtuoso – 99., a Superhuman oznacza wynik lepszy niż u wszystkich ludzi [2].

KryteriumFramework Levels of AGIKlasyczny benchmark
Jednostka wynikupróg percentylowy względem ludziodsetek poprawnych odpowiedzi
Zakreswydajność, ogólność i autonomia osobnojedno zadanie lub zestaw zadań
Aktualizacjaotwarte pytanie o standaryzację testównowe wersje zestawu testowego

Nazwa poziomu nie mówi nic o szerokości zastosowań. Autorzy rozdzielają wydajność i ogólność: AlphaGo i Deep Blue to przykłady wąskiej, wysokiej wydajności, a poziomy Competent AGI i wyższe w tabeli ogólnej inteligencji oznaczono jako nieosiągnięte [1]. Popularne omówienia streszczają ten podział jako „sześć poziomów AGI” i traktują go jak skalę gotową do stosowania [6].

Jak framework traktuje autonomię?

Autonomia jest osobną osią, niezależną od wydajności. Framework wyróżnia poziomy od AI jako narzędzia, przez konsultanta, współpracownika i eksperta, po w pełni autonomicznego agenta [1]. Zdolność systemu nie jest tym samym co dopuszczony poziom jego autonomii.

To rozdzielenie jest użyteczne w praktyce. System może być bardzo dobry w wąskim zadaniu i pozostawać narzędziem, które wymaga zatwierdzenia każdej decyzji. Inny system może działać autonomicznie przy niższej wydajności. Framework pozwala opisać oba przypadki bez mieszania tych osi.

Jak czytać doniesienia o przełomach w AGI?

Deklaracje o przełomach warto czytać przez pryzmat definicji. Media branżowe informowały o plotkach, że zespół Google DeepMind mógł osiągnąć poziom rekurencyjnego samodoskonalenia [7]. Inne doniesienia wskazują, że według firmy przełom w zakresie AGI może nastąpić do końca tej dekady [8]. Żadna z tych informacji nie wynika z frameworku Levels of AGI i nie da się jej z nim zweryfikować.

Framework nie rozstrzyga, kiedy powstanie AGI. Daje natomiast zestaw pytań, które warto zadać przy każdej zapowiedzi: o jakiej wydajności mowa, w jak szerokim zakresie zadań i przy jakim poziomie autonomii. Bez tych trzech informacji zdanie „model jest blisko AGI” pozostaje opinią.

Co to oznacza dla firm i zespołów produktowych?

Dla zespołów, które wybierają model do konkretnego zadania, framework jest listą kontrolną, nie certyfikatem. Polecamy zacząć od opisu własnego przypadku: jakie zadania system ma wykonywać, jak szeroki jest ten zakres i ile decyzji ma podejmować samodzielnie. Dopiero potem warto porównywać modele.

Drugi krok to unikanie pojęć, których nie da się sprawdzić. Deklaracja „model na poziomie Expert” bez wskazania dziedziny i progu percentylowego niewiele mówi. W wewnętrznej dokumentacji lepiej opisać zakres zadań i sposób oceny jakości niż odwoływać się do etykiet z publikacji badawczej. Szerszy przegląd zastosowań opisujemy w tekście o praktycznych zastosowaniach AI.

Trzeci krok dotyczy autonomii. Warto zapisać, które decyzje system może podejmować bez zatwierdzenia, a które wymagają człowieka. Framework traktuje te wymiary osobno, więc taka deklaracja jest zgodna z jego logiką i czytelna dla odbiorców [1].

Najczęstsze pytania

Czy Levels of AGI to oficjalny standard?

Nie. To publikacja badawcza Google DeepMind, a nie standard przyjęty przez organizację normalizacyjną. Autorzy proponują wspólny język opisu i sami wskazują otwarte pytania o standaryzację testów [1][2]. Zastosowanie frameworku w dokumentacji wewnętrznej jest decyzją organizacji, nie wymogiem zewnętrznym.

Ile poziomów wyróżnia framework?

Sześć etykiet od 0 do 5: No AI, Emerging, Competent, Expert, Virtuoso i Superhuman. W praktyce autorzy mówią o pięciu poziomach wydajności ponad poziomem „No AI” [1]. Progi określono percentylami ludzi: 50., 90., 99. oraz przewaga nad wszystkimi ludźmi [2].

Czy framework mówi, jak blisko AGI jest GPT-4 albo Gemini?

Nie. Framework nie przypisuje konkretnym modelom poziomów w sposób pomiarowy. Autorzy umieszczają przykłady wąskiej, wysokiej wydajności po stronie wąskiej, a poziomy ogólne oznaczają jako nieosiągnięte [1]. Deklaracja o poziomie konkretnego modelu wymaga danych, których framework nie dostarcza.

Kiedy ukazała się praca?

Preprint ukazał się 4 listopada 2023 roku, wersja v2 – 5 stycznia 2024 roku, a wersja konferencyjna na ICML 2024, 21 lipca 2024 roku [1][2][3]. W obiegu pojawiają się inne daty, między innymi luty 2024 roku, ale nie odpowiadają one pierwszej publikacji.

Źródła

  1. Levels of AGI for Operationalizing Progress on the Path to AGI (arXiv, 2023)
  2. Levels of AGI: Operationalizing Progress on the Path to AGI (arXiv, 2023)
  3. ICML 2024 (Google DeepMind, 2024)
  4. Researchers seek consensus on what constitutes Artificial General Intelligence (TechXplore, 2023)
  5. Jak daleko do AGI? To zależy, kto mierzy (hAI Magazine)
  6. AGI – co to jest i jak blisko jesteśmy (Forum AI)
  7. Google ukrywa przełom? Giganci nagle stali się bardzo nerwowi (ITHardware)
  8. Prawdziwa sztuczna inteligencja coraz bliżej? DeepMind prognozuje (ITHardware)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji