Praktyczne zastosowania
Modele 3D CNN na danych ADNI: dlaczego wyniki utykają i jak je czytać
Zaktualizowano: Autor: Andrzej Niemiec10 min czytania
Dlaczego modele 3D CNN na ADNI dają mylące wyniki: podział danych na poziomie osoby, definicja metryki i raportowanie poza samą accuracy.
Spis treści
Dlaczego wynik 55% na ADNI nie musi oznaczać słabego modelu?
55% w literaturze ADNI nie zawsze jest accuracy. W pracy z 2023 r. ta wartość opisywała true positive rate dla grupy cognitively normal, obok TPR dla AD i MCI oraz C-index 90,1% dla ADNI-1 [1]. Inne publikacje raportują 81,8% dla zadania EMCI kontra NC i ponad 92% w wybranych konfiguracjach, więc pojedyncza liczba bez definicji zadania i metryki nie mówi nic o jakości modelu.
Ta sama ostrożność dotyczy krążącego w sieci opisu zespołu z Łodzi, którego model 3D CNN miał zatrzymać się na 55% accuracy. Publiczne źródła nie potwierdzają ani takiego zespołu, ani takiego wyniku. Komunikat uczelni o badaniach alzheimerowskich opisuje badanie kliniczne leku i rezonans MRI, a nie trenowanie sieci 3D na ADNI [2]. Bez DOI, repozytorium albo komunikatu instytucji taki opis pozostaje niezweryfikowany.
Czym jest ADNI i jak wygląda dostęp do danych?
ADNI to wieloośrodkowe, longitudinalne badanie biomarkerów Alzheimera: MRI, PET, biomarkery płynu, genetyka i testy poznawcze. Uczestnicy są rekrutowani w ponad 60 ośrodkach w USA i Kanadzie, a zbiór grupuje osoby z chorobą Alzheimera, z łagodnymi zaburzeniami poznawczymi (MCI) i kontrole [3][4]. To projekt badawczy i baza danych, nie produkt komercyjny.
Dostęp nie jest anonimowym pobraniem. Wymaga złożenia wniosku, akceptacji Data Use Agreement i zatwierdzenia przez właściwy komitet [3]. Publicznie dostępne są katalogi i opisy zbioru, natomiast same obrazy trafiają do badaczy po przejściu tej procedury.
Liczba skanów zależy od tego, co liczymy. Według przeglądu MRI z 11 września 2024 r. do 25 kwietnia 2024 r. dostępnych było 17 141 serii 3D T1-weighted, przy 17 141 z 17 525 serii, które przeszły kontrolę jakości [5]. To liczba serii, a nie liczba niezależnych pacjentów.
Jak dzielić dane, żeby nie zawyżyć wyniku?
Podział train/test trzeba wykonać na poziomie osoby, nie skanu. ADNI jest badaniem longitudinalnym, więc jeden pacjent dostarcza wiele przekrojów z różnych wizyt. Jeśli ta sama osoba trafi zarówno do zbioru treningowego, jak i testowego, model rozpoznaje jej anatomię, a nie chorobę, i wynik rośnie sztucznie [6].
Praktycznie: najpierw dzielisz listę identyfikatorów osób na część treningową, walidacyjną i testową, a dopiero potem przypisujesz do nich wszystkie sesje i serie. Ten sam podział stosujesz przy wczesnym zatrzymywaniu treningu, żeby wybór liczby epok nie odbywał się na danych testowych.
Osobny problem to przygotowanie tensorów. Pliki .npy nie przechowują orientacji ani jednostek, więc konwersja z NIfTI lub DICOM bez sprawdzenia nagłówka może odwrócić półkule albo zmienić skalę intensywności. Przed treningiem warto wypisać kształt, typ i zakres wartości każdego tensora oraz obejrzeć kilka przekrojów. Przy resamplingu do stałego rozmiaru trzeba pamiętać, że małe struktury, jak hipokamp, tracą szczegół, a to one często decydują o klasyfikacji. Sposób prowadzenia takich eksperymentów w praktyce opisujemy też w artykule o wdrożeniach AI od pilotażu do produkcji.
Jakie wyniki na ADNI publikują różne modele?
| Podejście | Zadanie | Raportowany wynik | Walidacja zewnętrzna |
|---|---|---|---|
| 3D CNN w konkretnej architekturze z publikacji | klasyfikacja AD na ADNI | 92,89% [7] | brak w opisanym zakresie |
| 3D CNN połączony z Video Swin Transformer | AD kontra CN | 92,92% [6] | autorzy wskazują potrzebę walidacji na OASIS |
| Model przekrojowy EMCI kontra NC | wczesne stadium choroby | 81,8% [8] | silnie zależna od podziału danych |
Zestawienie pokazuje, dlaczego porównywanie liczb z różnych prac jest ryzykowne. Zadanie AD kontra CN jest łatwiejsze niż rozróżnienie AD, MCI i kontroli, a prognozowanie konwersji MCI do AD to jeszcze inna trudność [8]. Wynik 92,92% uzyskany na ADNI nie oznacza gotowości klinicznej: autorzy publikacji z 2025 r. sami wskazali ograniczoną liczbę danych i konieczność walidacji na zewnętrznym zbiorze OASIS [6].
Co raportować obok accuracy?
Minimum to accuracy, balanced accuracy, czułość, swoistość, F1 i AUC, każda z liczebnością klas, sposobem podziału, preprocessingiem i przedziałami ufności [6][9]. Przy niezbalansowanych klasach sama accuracy myli: model, który zawsze przewiduje klasę większościową, może wyglądać dobrze, a mieć zerową czułość dla choroby.
Warto raportować macierz pomyłek i wynik na poziomie osoby, nie skanu. Jeśli publikacja podaje tylko jedną liczbę, bez informacji o podziale i metryce, nie da się jej odtworzyć ani sprawdzić.
Drugi element to walidacja zewnętrzna. ADNI jest zbiorem kuratorowanym, z określonym protokołem skanowania i wybraną populacją. Model może działać dobrze wewnątrz niego, a gorzej na danych z innych skanerów i ośrodków [6]. Dlatego wynik na ADNI jest punktem wyjścia, a nie potwierdzeniem przydatności klinicznej. Jeśli interesuje cię, jak wygląda porównywanie modeli w praktyce, zobacz tekst o benchmarkach AI oraz o pracy z danymi przy pomocy Codexa.
Najczęstsze pytania
Czy ADNI jest darmowy?
Dane są bezpłatne dla zatwierdzonych badaczy, ale dostęp wymaga wniosku, akceptacji Data Use Agreement i zgody właściwego komitetu [3]. Nie ma trybu pobrania bez rejestracji, a warunki wykorzystania określa umowa, którą podpisuje instytucja badacza.
Ile skanów zawiera ADNI?
Nie ma jednej liczby. Przegląd MRI z 2024 r. wskazał 17 141 serii 3D T1-weighted do 25 kwietnia 2024 r., z 17 141 z 17 525 serii po kontroli jakości [5]. Liczba serii nie równa się liczbie pacjentów, bo badanie jest longitudinalne i jedna osoba ma wiele wizyt.
Czy wysoka accuracy na ADNI oznacza gotowość kliniczną?
Nie. Wyniki wewnętrzne bywają wysokie, ale publikacje same wskazują na potrzebę walidacji zewnętrznej i ograniczoną liczbę danych [6]. Do zastosowania klinicznego potrzebne są badania na innych kohortach, skanerach i populacjach, z osobnym raportem czułości i swoistości.
Jakiej metryki używać przy niezbalansowanych klasach?
Balanced accuracy, czułości i swoistości osobno dla klas oraz AUC [6][9]. Accuracy raportuj razem z liczebnością klas, inaczej nie wiadomo, czy wynik nie pochodzi z przewidywania klasy większościowej, a nie z rozpoznawania zmian chorobowych.
Źródła
- CSSE (Tech Science Press, 2023)
- UMED Science 4.2 #Projekt Alzheimer (UMED)
- Alzheimer's Disease Neuroimaging Initiative (NYU Data Catalog)
- Alzheimer's Disease Neuroimaging Initiative (Jagust Lab, UC Berkeley)
- Overview of ADNI MRI (PMC, 2024)
- A deep learning model for early diagnosis of Alzheimer's disease combined with 3D CNN and video Swin transformer (Scientific Reports, 2025)
- Alzheimer's disease prediction using 3D-CNNs (ScienceDirect, 2025)
- A Comprehensive Analysis of Early Alzheimer Disease Detection from 3D sMRI Images (MDPI Informatics, 2024)
- Improving 3D convolutional neural network comprehensibility via interactive visualization of relevance maps (PMC, 2021)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji