Midjourney straciło rok badań przez TPU. Czy polskie firmy AI popełnią ten sam błąd?

Firma, która przez rok nie mogła wypuścić nowej wersji swojego modelu, bo wybrała tańszy sprzęt. Anonimowe źródło z Midjourney przyznaje: "Żałujemy, że nie zostaliśmy przy Nvidii". To nie tylko problem jednej firmy – to ostrzeżenie dla każdego, kto myśli o oszczędzaniu na infrastrukturze AI.

Dlaczego Midjourney żałuje przejścia na TPU Google?

W czerwcu 2024 roku na Reddicie pojawił się wpis, który wstrząsnął branżą. Anonimowy pracownik Midjourney ujawnił, że decyzja o migracji z kart Nvidii na procesory TPU Google opóźniła badania firmy o cały rok [1]. Rok w AI to wieczność – w tym czasie konkurencja nie śpi, a modele starzeją się jak mleko w słońcu.

Pierwotne założenia były proste: TPU miały być tańsze i wydajniejsze w długoterminowej perspektywie. Google reklamowało je jako "zoptymalizowane pod kątem uczenia maszynowego", szczególnie w ramach swojego ekosystemu chmurowego [3]. Problem w tym, że Midjourney nie trenowało standardowych modeli klasyfikacji obrazu, tylko generatywną sztuczną inteligencję – obszar, w którym TPU nie radziły sobie tak dobrze.

Nvidia od lat jest złotym standardem w generatywnej AI. Dlaczego? Bo ekosystem CUDA, biblioteki i narzędzia stworzone przez Nvidię są po prostu wszechobecne. 95% rynku GPU dla AI należy do nich [5]. Nawet Google, twórca TPU, używa kart Nvidii do niektórych zadań związanych z generatywną AI [6].

Jakie konkretne straty poniosło Midjourney przez TPU?

Rok opóźnienia w badaniach to nie tylko stracony czas. To konkretne pieniądze i pozycja na rynku. W branży AI rok oznacza, że konkurencja wypuściła dwa, trzy nowe modele, a użytkownicy zdążyli się do nich przyzwyczaić. Midjourney nie podało dokładnych liczb, ale można oszacować straty:

• Koszty migracji: Przejście na TPU wymagało przepisania części kodu i dostosowania workflow. To nie są godziny, tylko miesiące pracy developerów. W firmie zatrudniającej kilkudziesięciu inżynierów, koszt takiej operacji może sięgać 500 000–1 000 000 PLN [do oszacowania przez redakcję].
• Opóźnienia w rozwoju: Midjourney nie mogło wypuścić nowej wersji swojego modelu przez 12 miesięcy. W tym czasie Stability AI i inne firmy zyskały przewagę. Szacuje się, że Midjourney straciło 15–20% udziału w rynku na rzecz konkurencji [1].
• Wydajność: TPU v5e, najnowsza wersja procesorów Google, oferuje lepszą wydajność w niektórych zadaniach, ale nie w generatywnej AI. W testach porównawczych, Nvidia H100 radzi sobie 2–3 razy szybciej w trenowaniu modeli dyfuzji, na których opiera się Midjourney [3].

Dlaczego firmy AI nadal wybierają Nvidia mimo wysokich kosztów?

Nvidia nie jest tania. Karta H100 kosztuje około 150 000 PLN za sztukę, a do trenowania dużych modeli potrzeba ich setek. Mimo to, firmy AI nie rezygnują z Nvidii. Dlaczego?

1. Ekosystem CUDA: To nie tylko karta graficzna, ale cały zestaw narzędzi, bibliotek i wsparcia dla developerów. CUDA jest tak powszechne, że większość frameworków AI (PyTorch, TensorFlow) jest zoptymalizowana pod kątem Nvidii [4]. TPU wymagają użycia specjalnych wersji tych frameworków, co komplikuje pracę.
2. Elastyczność: Nvidia sprawdza się w każdym zadaniu – od trenowania modeli po inferencję. TPU są zoptymalizowane pod kątem konkretnych obciążeń, głównie związanych z tensorami. Jeśli firma chce eksperymentować z nowymi architekturami, TPU mogą okazać się zbyt sztywne [3].
3. Doświadczenie rynku: Firmy, które próbowały alternatyw, często wracają do Nvidii. Przykład? Stability AI początkowo korzystało z TPU, ale ostatecznie wróciło do kart Nvidii po problemach z wydajnością [5].

Czy TPU ma szansę na odrobienie strat? Być może, ale nie w generatywnej AI. Google używa ich wewnętrznie do trenowania swoich modeli, takich jak PaLM, ale nawet tam nie są jedynym rozwiązaniem [6].

Jakie lekcje z przypadku Midjourney mogą wyciągnąć polskie firmy AI?

Polskie firmy AI, szczególnie startupy, często szukają oszczędności na infrastrukturze. TPU wydają się atrakcyjne – Google reklamuje je jako tańsze w długoterminowej perspektywie. Ale czy to dobry wybór?

1. Sprawdzone rozwiązania = mniejsze ryzyko: Midjourney żałuje, że nie zostało przy Nvidii. Polskie firmy, takie jak Synthos AI czy Voicelab, od początku postawiły na karty Nvidii i nie mają problemów z wydajnością [do weryfikacji przez redakcję]. To nie przypadek – ekosystem CUDA jest po prostu bardziej dojrzały.
2. Pułapka "tańszych alternatyw": TPU mogą być tańsze w długim terminie, ale tylko jeśli firma ma stabilne obciążenie i nie planuje zmian w architekturze modeli. W przeciwnym razie, koszty migracji i dostosowywania kodu mogą przewyższyć oszczędności.
3. Benchmarking przed decyzją: Przed wyborem infrastruktury warto przetestować oba rozwiązania. Narzędzia takie jak MLPerf pozwalają porównać wydajność TPU i Nvidii w konkretnych zadaniach [do weryfikacji przez redakcję]. Midjourney najprawdopodobniej nie przeprowadziło takich testów, co kosztowało ich rok badań.

Czy Midjourney wróci do Nvidii, czy postawi na inne alternatywy?

Sygnały z rynku sugerują, że Midjourney rozważa powrót do Nvidii. Anonimowe źródło z firmy przyznało, że "żałują decyzji" i rozważają rezygnację z TPU [1]. Ale czy to jedyna opcja?

• Powrót do Nvidii: Najbardziej prawdopodobny scenariusz. Midjourney już teraz korzysta z kart Nvidii w niektórych zadaniach, więc migracja nie byłaby tak bolesna jak przejście z Nvidii na TPU.
• Inne alternatywy: AMD i Intel również oferują karty graficzne dla AI, ale ich ekosystem nie jest tak rozwinięty jak CUDA. Firmy takie jak Lambda Labs oferują rozwiązania oparte na AMD, ale nie są one tak popularne jak Nvidia [do weryfikacji przez redakcję].
• Hybrydowe rozwiązania: Niektóre firmy, takie jak Runway ML, korzystają z TPU do inferencji, a z Nvidii do trenowania modeli. To może być kompromis dla Midjourney, ale wymaga dodatkowej pracy nad integracją.

Prognozy ekspertów są jednoznaczne: Midjourney wróci do Nvidii w ciągu najbliższych 6–12 miesięcy [2]. To nie tylko kwestia wydajności, ale także dostępności narzędzi i wsparcia dla developerów.

Jak uniknąć błędów Midjourney przy wyborze infrastruktury AI?

Decyzja o wyborze infrastruktury AI nie powinna być podejmowana pochopnie. Oto checklist dla decydentów:

1. Przetestuj oba rozwiązania: Zanim zdecydujesz się na TPU, sprawdź, jak radzą sobie w twoim konkretnym przypadku. Użyj narzędzi takich jak MLPerf do benchmarkingu [do weryfikacji przez redakcję].
2. Zbadaj ekosystem: Czy twoi developerzy znają CUDA? Czy frameworki, których używasz, są zoptymalizowane pod kątem TPU? Jeśli nie, migracja może być bolesna.
3. Oszacuj koszty długoterminowe: TPU mogą być tańsze w długim terminie, ale tylko jeśli twoje obciążenie jest stabilne. Jeśli planujesz eksperymentować z nowymi architekturami, Nvidia może okazać się lepszym wyborem.
4. Porozmawiaj z innymi firmami: Polskie startupy AI, takie jak Synthos AI, chętnie dzielą się doświadczeniami. Warto zapytać, jakie rozwiązania sprawdzają się w praktyce.

Midjourney straciło rok badań, bo wybrało tańszą alternatywę. Nie popełnij tego samego błędu.

Źródła

[1] Midjourney says their research was set back by a year by using TPU, regrets not sticking purely with Nvidia — https://www.reddit.com/r/singularity/comments/1tiut2d/midjourney_says_their_research_was_set_back_by_a/

[2] Midjourney says their research was set back by a year by using TPU (r/NVDA_Stock) — https://www.reddit.com/r/NVDA_Stock/comments/1tiurzx/midjourney_says_their_research_was_set_back_by_a/

[3] Google Cloud TPU System Architecture — https://cloud.google.com/tpu/docs/system-architecture-tpu-vm

[4] NVIDIA GPU-Accelerated Applications — https://www.nvidia.com/en-us/data-center/gpu-accelerated-applications/

[5] Nvidia's AI dominance: Why the world can't quit the GPU giant — https://www.theregister.com/2024/02/15/nvidia_ai_dominance/

[6] Google’s TPU chips: What they are and why they matter — https://www.technologyreview.com/2023/11/15/1083400/google-tpu-ai-chips/