Przejdź do treści

Narzędzia AI

G7e na SageMaker: 96 GB GDDR7 i realny koszt inferencji w 2026

Zaktualizowano: Autor: Andrzej Niemiec7 min czytania

Instancje G7e z GPU RTX PRO 6000 Blackwell dają 96 GB pamięci na układ i do 768 GB w konfiguracji 8-GPU. Sprawdzamy, kiedy realnie obniżają koszt inferencji.

G7e na SageMaker: 96 GB GDDR7 i realny koszt inferencji w 2026
Spis treści
  1. Czym są instancje G7e w Amazon SageMaker AI?
  2. Ile pamięci GPU daje G7e i czy wystarcza dla modelu 120B?
  3. Czy G7e obniżają koszt inferencji? Co pokazał benchmark AWS
  4. G7e czy G6e — jak porównać koszt uczciwie?
  5. Kiedy własny endpoint przegrywa z API?
  6. Jak oszacować koszt przed wdrożeniem?
  7. Czy własny endpoint ogranicza ryzyko wycieku danych?
  8. Najczęstsze pytania
  9. Źródła

Czym są instancje G7e w Amazon SageMaker AI?

G7e to rodzina instancji AWS z GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, przeznaczona do inferencji modeli generatywnych w SageMaker AI. Każdy układ ma 96 GB pamięci GDDR7, a konfiguracje obejmują 1, 2, 4 i 8 GPU — do 768 GB pamięci GPU i do 1600 Gb/s EFA [1]. AWS udostępnił G7e w EC2 20 stycznia 2026 r. [2], a obsługę w SageMaker AI ogłosił 20 kwietnia 2026 r. [1].

Instancje trafiły najpierw do wybranych regionów. 23 lipca 2026 r. AWS poinformował o rozszerzeniu dostępności G7e w SageMaker AI o regiony europejskie, w tym Londyn [3]. Dla firmy z Polski bliższy region oznacza niższe opóźnienia sieciowe i prostszą kwestię lokalizacji danych, ale aktualną listę lokalizacji trzeba sprawdzić w dokumentacji AWS, bo komunikaty nie wymieniają wszystkich regionów. Sposób, w jaki producenci GPU przekładają sprzęt na wyniki benchmarków, opisujemy w tekście Benchmarki AI: dlaczego Nvidia postawiła na OpenClaw zamiast kolejnego hype'u.

Ile pamięci GPU daje G7e i czy wystarcza dla modelu 120B?

Pojedynczy GPU G7e ma 96 GB pamięci GDDR7, a maksymalna konfiguracja ośmiu układów daje 768 GB [1]. To więcej niż deklarowane przez OpenAI minimum dla GPT-OSS-120B: model ma około 116,8 mld parametrów, 5,1 mld aktywnych na token i według karty modelu mieści się na jednym GPU z 80 GB pamięci [4][5].

Warto rozdzielić dwie liczby: liczbę parametrów i pamięć potrzebną w praktyce. GPT-OSS-120B nie jest gęstym modelem 120B — to model MoE z 36 warstwami i kwantyzacją MXFP4, w którym na jeden token aktywuje się 5,1 mld parametrów [5]. Architektura MoE obniża koszt obliczeń, ale nie eliminuje potrzeby trzymania w pamięci wszystkich wag. Rzeczywiste zużycie zależy dodatkowo od długości kontekstu, rozmiaru batcha i liczby równoległych żądań, więc 96 GB na układ nie oznacza, że każda konfiguracja zmieści się bez testów. AWS wymienia GPT-OSS-120B wśród modeli możliwych do hostowania na G7e.2xlarge, ale to deklaracja możliwości technicznej, nie gwarancja dla konkretnego obciążenia [1][6].

Czy G7e obniżają koszt inferencji? Co pokazał benchmark AWS

W benchmarku AWS na modelu Qwen3-32B w formacie BF16, przy około 1000 tokenach wejściowych i 560 wyjściowych, G7e osiągnęła 0,79 USD za 1 mln tokenów wyjściowych przy współbieżności 32. Na G6e ten sam wskaźnik wyniósł 2,06 USD, czyli około 2,6× więcej [1]. Wynik dotyczy jednak jednego modelu i jednego scenariusza obciążenia — nie dowodzi oszczędności dla dowolnego modelu, ruchu ani firmy.

Druga strona tego benchmarku jest mniej wygodna. Przy niskiej współbieżności G6e miała niższe opóźnienie pojedynczej odpowiedzi [1], więc przewaga G7e jest funkcją równoległości, a nie stałą cechą sprzętu. AWS deklaruje też do 2,3× wyższej wydajności inferencji względem G6e [1], ale to deklaracja producenta, a nie wynik niezależnego pomiaru.

KryteriumG7e.2xlargeG6e.12xlarge
Liczba GPU w instancji14
Stawka godzinowa w benchmarku AWS4,20 USD13,12 USD
Koszt 1 mln tokenów wyjściowych przy współbieżności 320,79 USD2,06 USD
Opóźnienie pojedynczej odpowiedzi przy niskiej współbieżnościwyższeniższe

G7e czy G6e — jak porównać koszt uczciwie?

Godzinowa cena instancji nie jest porównaniem kosztu. AWS podaje 4,20 USD za godzinę dla G7e.2xlarge i 13,12 USD za godzinę dla G6e.12xlarge, ale G7e ma jeden GPU, a G6e cztery [1]. Zestawienie obu stawek bez korekty o liczbę układów i przepustowość prowadzi do błędnego wniosku, że G7e jest trzykrotnie tańsza w każdym zastosowaniu.

Właściwym miernikiem jest koszt na token przy realnym obciążeniu, a nie cena za godzinę pracy maszyny. Niezależne omówienia benchmarku AWS wskazują, że w testach dwóch modeli MoE o 30 mld parametrów G7 osiągnęła najlepszy stosunek ceny do wydajności wśród rodzin G5, G6 i G7 [7][8]. To nadal wynik z określonego zestawu modeli i konfiguracji, więc przed decyzją trzeba powtórzyć pomiar na własnym ruchu.

Kiedy własny endpoint przegrywa z API?

Rozliczenie jest inne po obu stronach. API liczy za tokeny, endpoint SageMaker za czas działania instancji. AWS podaje, że G7e nie ma dodatkowej opłaty za token ani żądanie — płaci się standardową stawkę endpointu [1]. Do rachunku dochodzą jednak storage, transfer, koszt benchmarków i optymalizacji oraz ewentualne plany oszczędnościowe [1]. Przy niskim ruchu stałe utrzymywanie endpointu może być droższe niż API lub autoskalowanie, a przy wysokiej współbieżności koszt na token spada [1].

Praktyczna konsekwencja jest prosta: self-hosting ma sens wtedy, gdy GPU jest realnie zajęty przez większość doby albo gdy dane nie mogą opuścić kontrolowanej infrastruktury. W pozostałych przypadkach API bywa tańsze, nawet przy wyższej cenie za token. Jak wygląda przejście od pilotażu do produkcji, opisujemy w tekście Praktyczne zastosowania AI: od pilotażu do produkcji.

Jak oszacować koszt przed wdrożeniem?

Kalkulację trzeba oprzeć na parametrach obciążenia, a nie na stawce godzinowej. Potrzebne są: liczba tokenów wejściowych i wyjściowych na zapytanie, współbieżność, czas do pierwszego tokenu (TTFT), przepustowość, uptime endpointu i region [1]. Dopiero te wartości pozwalają przeliczyć koszt instancji na koszt pojedynczego zapytania i porównać go z cennikiem API.

Drugi krok to weryfikacja pamięci. Model, batch i długi kontekst zmieniają zużycie VRAM, a przekroczenie 96 GB na układ oznacza konieczność rozbicia modelu na wiele GPU albo kwantyzacji [1][5]. Oba warianty zmieniają zarówno koszt, jak i jakość odpowiedzi. Narzędzia do pracy z danymi i modelami w praktyce omawiamy w artykule Codex w data science: 2 godziny pracy w 10 minut, ale nie bez haczyka.

Czy własny endpoint ogranicza ryzyko wycieku danych?

Własny endpoint w SageMaker przenosi inferencję do infrastruktury, którą kontroluje firma, i eliminuje wysyłanie promptów do zewnętrznego dostawcy API. To nie zastępuje polityki dostępu. Poradniki dotyczące bezpieczeństwa AI w firmie wskazują na zasady data governance i wdrożone procedury jako podstawę ochrony danych [9]. Sam wybór miejsca inferencji nie rozstrzyga, kto ma dostęp do promptów, logów i wyników.

Najczęstsze pytania

Ile kosztuje godzina instancji G7e.2xlarge?

W benchmarku AWS G7e.2xlarge jest wyceniona na 4,20 USD za godzinę [1]. To cena instancji, a nie koszt zapytania — przy niskim wykorzystaniu GPU większość tej kwoty nie przekłada się na obsłużony ruch. Pełny koszt obejmuje też storage, transfer i prace optymalizacyjne [1].

Czy GPT-OSS-120B zmieści się na jednym GPU G7e?

Jest to możliwe. Model ma około 116,8 mld parametrów, z czego 5,1 mld aktywnych na token, i według OpenAI działa na pojedynczym GPU z 80 GB pamięci [4][5]. G7e oferuje 96 GB na układ, ale faktyczne zużycie zależy od długości kontekstu, batcha i kwantyzacji, więc trzeba je sprawdzić na własnym obciążeniu [1].

Czy G7e są dostępne w regionie eu-central-1?

Komunikaty AWS potwierdzają rozszerzenie dostępności G7e w SageMaker AI o regiony europejskie, w tym Londyn, 23 lipca 2026 r. [3]. Przywołane źródła nie przesądzają o Frankfurcie, więc aktualną listę regionów trzeba sprawdzić przed planowaniem wdrożenia.

Czy AWS dolicza opłatę za token na G7e?

Nie. AWS wskazuje, że G7e nie ma dodatkowej opłaty za token ani żądanie — rozliczana jest standardowa stawka endpointu [1]. Osobno trzeba uwzględnić storage, transfer, koszt benchmarków i optymalizacji oraz ewentualne plany oszczędnościowe [1].

Kiedy G7e wychodzą taniej niż API?

Wtedy, gdy GPU jest realnie zajęty. Przy wysokiej współbieżności koszt na token spada, a przy niskim ruchu stała opłata za endpoint może przewyższyć rachunek za API [1]. Decyzję powinien poprzedzić pomiar tokenów wejściowych i wyjściowych, współbieżności oraz uptime'u.

Źródła

  1. Accelerate Generative AI Inference on Amazon SageMaker AI with G7e Instances (AWS, 2026)
  2. Amazon EC2 G7e instances are now generally available (AWS, 2026)
  3. Announcing region expansion of G7e instances on SageMaker AI inference (AWS, 2026)
  4. Introducing gpt-oss (OpenAI, 2025)
  5. gpt-oss-120b & gpt-oss-20b Model Card (OpenAI, 2025)
  6. Announcing Amazon EC2 G7e instances accelerated by NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs (AWS, 2026)
  7. AWS sprawdza, czy nowe GPU Blackwell opłacają się w praktyce (Sukces AI, 2026)
  8. Benchmarki inferencji AWS SageMaker AI zestawiają G7 z G5 i G6 (Remio, 2026)
  9. Wyciek danych sztuczna inteligencja: jak chronić tajemnice? (AI Korzyści, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji