Przejdź do treści

Praktyczne zastosowania

Modele 3D CNN na danych ADNI: dlaczego wyniki utykają i jak je czytać

Zaktualizowano: Autor: Andrzej Niemiec10 min czytania

Dlaczego modele 3D CNN na ADNI dają mylące wyniki: podział danych na poziomie osoby, definicja metryki i raportowanie poza samą accuracy.

Modele 3D CNN na danych ADNI: dlaczego wyniki utykają i jak je czytać
Spis treści
  1. Dlaczego wynik 55% na ADNI nie musi oznaczać słabego modelu?
  2. Czym jest ADNI i jak wygląda dostęp do danych?
  3. Jak dzielić dane, żeby nie zawyżyć wyniku?
  4. Jakie wyniki na ADNI publikują różne modele?
  5. Co raportować obok accuracy?
  6. Najczęstsze pytania
  7. Źródła

Dlaczego wynik 55% na ADNI nie musi oznaczać słabego modelu?

55% w literaturze ADNI nie zawsze jest accuracy. W pracy z 2023 r. ta wartość opisywała true positive rate dla grupy cognitively normal, obok TPR dla AD i MCI oraz C-index 90,1% dla ADNI-1 [1]. Inne publikacje raportują 81,8% dla zadania EMCI kontra NC i ponad 92% w wybranych konfiguracjach, więc pojedyncza liczba bez definicji zadania i metryki nie mówi nic o jakości modelu.

Ta sama ostrożność dotyczy krążącego w sieci opisu zespołu z Łodzi, którego model 3D CNN miał zatrzymać się na 55% accuracy. Publiczne źródła nie potwierdzają ani takiego zespołu, ani takiego wyniku. Komunikat uczelni o badaniach alzheimerowskich opisuje badanie kliniczne leku i rezonans MRI, a nie trenowanie sieci 3D na ADNI [2]. Bez DOI, repozytorium albo komunikatu instytucji taki opis pozostaje niezweryfikowany.

Czym jest ADNI i jak wygląda dostęp do danych?

ADNI to wieloośrodkowe, longitudinalne badanie biomarkerów Alzheimera: MRI, PET, biomarkery płynu, genetyka i testy poznawcze. Uczestnicy są rekrutowani w ponad 60 ośrodkach w USA i Kanadzie, a zbiór grupuje osoby z chorobą Alzheimera, z łagodnymi zaburzeniami poznawczymi (MCI) i kontrole [3][4]. To projekt badawczy i baza danych, nie produkt komercyjny.

Dostęp nie jest anonimowym pobraniem. Wymaga złożenia wniosku, akceptacji Data Use Agreement i zatwierdzenia przez właściwy komitet [3]. Publicznie dostępne są katalogi i opisy zbioru, natomiast same obrazy trafiają do badaczy po przejściu tej procedury.

Liczba skanów zależy od tego, co liczymy. Według przeglądu MRI z 11 września 2024 r. do 25 kwietnia 2024 r. dostępnych było 17 141 serii 3D T1-weighted, przy 17 141 z 17 525 serii, które przeszły kontrolę jakości [5]. To liczba serii, a nie liczba niezależnych pacjentów.

Jak dzielić dane, żeby nie zawyżyć wyniku?

Podział train/test trzeba wykonać na poziomie osoby, nie skanu. ADNI jest badaniem longitudinalnym, więc jeden pacjent dostarcza wiele przekrojów z różnych wizyt. Jeśli ta sama osoba trafi zarówno do zbioru treningowego, jak i testowego, model rozpoznaje jej anatomię, a nie chorobę, i wynik rośnie sztucznie [6].

Praktycznie: najpierw dzielisz listę identyfikatorów osób na część treningową, walidacyjną i testową, a dopiero potem przypisujesz do nich wszystkie sesje i serie. Ten sam podział stosujesz przy wczesnym zatrzymywaniu treningu, żeby wybór liczby epok nie odbywał się na danych testowych.

Osobny problem to przygotowanie tensorów. Pliki .npy nie przechowują orientacji ani jednostek, więc konwersja z NIfTI lub DICOM bez sprawdzenia nagłówka może odwrócić półkule albo zmienić skalę intensywności. Przed treningiem warto wypisać kształt, typ i zakres wartości każdego tensora oraz obejrzeć kilka przekrojów. Przy resamplingu do stałego rozmiaru trzeba pamiętać, że małe struktury, jak hipokamp, tracą szczegół, a to one często decydują o klasyfikacji. Sposób prowadzenia takich eksperymentów w praktyce opisujemy też w artykule o wdrożeniach AI od pilotażu do produkcji.

Jakie wyniki na ADNI publikują różne modele?

PodejścieZadanieRaportowany wynikWalidacja zewnętrzna
3D CNN w konkretnej architekturze z publikacjiklasyfikacja AD na ADNI92,89% [7]brak w opisanym zakresie
3D CNN połączony z Video Swin TransformerAD kontra CN92,92% [6]autorzy wskazują potrzebę walidacji na OASIS
Model przekrojowy EMCI kontra NCwczesne stadium choroby81,8% [8]silnie zależna od podziału danych

Zestawienie pokazuje, dlaczego porównywanie liczb z różnych prac jest ryzykowne. Zadanie AD kontra CN jest łatwiejsze niż rozróżnienie AD, MCI i kontroli, a prognozowanie konwersji MCI do AD to jeszcze inna trudność [8]. Wynik 92,92% uzyskany na ADNI nie oznacza gotowości klinicznej: autorzy publikacji z 2025 r. sami wskazali ograniczoną liczbę danych i konieczność walidacji na zewnętrznym zbiorze OASIS [6].

Co raportować obok accuracy?

Minimum to accuracy, balanced accuracy, czułość, swoistość, F1 i AUC, każda z liczebnością klas, sposobem podziału, preprocessingiem i przedziałami ufności [6][9]. Przy niezbalansowanych klasach sama accuracy myli: model, który zawsze przewiduje klasę większościową, może wyglądać dobrze, a mieć zerową czułość dla choroby.

Warto raportować macierz pomyłek i wynik na poziomie osoby, nie skanu. Jeśli publikacja podaje tylko jedną liczbę, bez informacji o podziale i metryce, nie da się jej odtworzyć ani sprawdzić.

Drugi element to walidacja zewnętrzna. ADNI jest zbiorem kuratorowanym, z określonym protokołem skanowania i wybraną populacją. Model może działać dobrze wewnątrz niego, a gorzej na danych z innych skanerów i ośrodków [6]. Dlatego wynik na ADNI jest punktem wyjścia, a nie potwierdzeniem przydatności klinicznej. Jeśli interesuje cię, jak wygląda porównywanie modeli w praktyce, zobacz tekst o benchmarkach AI oraz o pracy z danymi przy pomocy Codexa.

Najczęstsze pytania

Czy ADNI jest darmowy?

Dane są bezpłatne dla zatwierdzonych badaczy, ale dostęp wymaga wniosku, akceptacji Data Use Agreement i zgody właściwego komitetu [3]. Nie ma trybu pobrania bez rejestracji, a warunki wykorzystania określa umowa, którą podpisuje instytucja badacza.

Ile skanów zawiera ADNI?

Nie ma jednej liczby. Przegląd MRI z 2024 r. wskazał 17 141 serii 3D T1-weighted do 25 kwietnia 2024 r., z 17 141 z 17 525 serii po kontroli jakości [5]. Liczba serii nie równa się liczbie pacjentów, bo badanie jest longitudinalne i jedna osoba ma wiele wizyt.

Czy wysoka accuracy na ADNI oznacza gotowość kliniczną?

Nie. Wyniki wewnętrzne bywają wysokie, ale publikacje same wskazują na potrzebę walidacji zewnętrznej i ograniczoną liczbę danych [6]. Do zastosowania klinicznego potrzebne są badania na innych kohortach, skanerach i populacjach, z osobnym raportem czułości i swoistości.

Jakiej metryki używać przy niezbalansowanych klasach?

Balanced accuracy, czułości i swoistości osobno dla klas oraz AUC [6][9]. Accuracy raportuj razem z liczebnością klas, inaczej nie wiadomo, czy wynik nie pochodzi z przewidywania klasy większościowej, a nie z rozpoznawania zmian chorobowych.

Źródła

  1. CSSE (Tech Science Press, 2023)
  2. UMED Science 4.2 #Projekt Alzheimer (UMED)
  3. Alzheimer's Disease Neuroimaging Initiative (NYU Data Catalog)
  4. Alzheimer's Disease Neuroimaging Initiative (Jagust Lab, UC Berkeley)
  5. Overview of ADNI MRI (PMC, 2024)
  6. A deep learning model for early diagnosis of Alzheimer's disease combined with 3D CNN and video Swin transformer (Scientific Reports, 2025)
  7. Alzheimer's disease prediction using 3D-CNNs (ScienceDirect, 2025)
  8. A Comprehensive Analysis of Early Alzheimer Disease Detection from 3D sMRI Images (MDPI Informatics, 2024)
  9. Improving 3D convolutional neural network comprehensibility via interactive visualization of relevance maps (PMC, 2021)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji