Narzędzia AI
G7e na SageMaker: 96 GB GDDR7 i realny koszt inferencji w 2026
Zaktualizowano: Autor: Andrzej Niemiec7 min czytania
Instancje G7e z GPU RTX PRO 6000 Blackwell dają 96 GB pamięci na układ i do 768 GB w konfiguracji 8-GPU. Sprawdzamy, kiedy realnie obniżają koszt inferencji.
Spis treści
- Czym są instancje G7e w Amazon SageMaker AI?
- Ile pamięci GPU daje G7e i czy wystarcza dla modelu 120B?
- Czy G7e obniżają koszt inferencji? Co pokazał benchmark AWS
- G7e czy G6e — jak porównać koszt uczciwie?
- Kiedy własny endpoint przegrywa z API?
- Jak oszacować koszt przed wdrożeniem?
- Czy własny endpoint ogranicza ryzyko wycieku danych?
- Najczęstsze pytania
- Źródła
Czym są instancje G7e w Amazon SageMaker AI?
G7e to rodzina instancji AWS z GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, przeznaczona do inferencji modeli generatywnych w SageMaker AI. Każdy układ ma 96 GB pamięci GDDR7, a konfiguracje obejmują 1, 2, 4 i 8 GPU — do 768 GB pamięci GPU i do 1600 Gb/s EFA [1]. AWS udostępnił G7e w EC2 20 stycznia 2026 r. [2], a obsługę w SageMaker AI ogłosił 20 kwietnia 2026 r. [1].
Instancje trafiły najpierw do wybranych regionów. 23 lipca 2026 r. AWS poinformował o rozszerzeniu dostępności G7e w SageMaker AI o regiony europejskie, w tym Londyn [3]. Dla firmy z Polski bliższy region oznacza niższe opóźnienia sieciowe i prostszą kwestię lokalizacji danych, ale aktualną listę lokalizacji trzeba sprawdzić w dokumentacji AWS, bo komunikaty nie wymieniają wszystkich regionów. Sposób, w jaki producenci GPU przekładają sprzęt na wyniki benchmarków, opisujemy w tekście Benchmarki AI: dlaczego Nvidia postawiła na OpenClaw zamiast kolejnego hype'u.
Ile pamięci GPU daje G7e i czy wystarcza dla modelu 120B?
Pojedynczy GPU G7e ma 96 GB pamięci GDDR7, a maksymalna konfiguracja ośmiu układów daje 768 GB [1]. To więcej niż deklarowane przez OpenAI minimum dla GPT-OSS-120B: model ma około 116,8 mld parametrów, 5,1 mld aktywnych na token i według karty modelu mieści się na jednym GPU z 80 GB pamięci [4][5].
Warto rozdzielić dwie liczby: liczbę parametrów i pamięć potrzebną w praktyce. GPT-OSS-120B nie jest gęstym modelem 120B — to model MoE z 36 warstwami i kwantyzacją MXFP4, w którym na jeden token aktywuje się 5,1 mld parametrów [5]. Architektura MoE obniża koszt obliczeń, ale nie eliminuje potrzeby trzymania w pamięci wszystkich wag. Rzeczywiste zużycie zależy dodatkowo od długości kontekstu, rozmiaru batcha i liczby równoległych żądań, więc 96 GB na układ nie oznacza, że każda konfiguracja zmieści się bez testów. AWS wymienia GPT-OSS-120B wśród modeli możliwych do hostowania na G7e.2xlarge, ale to deklaracja możliwości technicznej, nie gwarancja dla konkretnego obciążenia [1][6].
Czy G7e obniżają koszt inferencji? Co pokazał benchmark AWS
W benchmarku AWS na modelu Qwen3-32B w formacie BF16, przy około 1000 tokenach wejściowych i 560 wyjściowych, G7e osiągnęła 0,79 USD za 1 mln tokenów wyjściowych przy współbieżności 32. Na G6e ten sam wskaźnik wyniósł 2,06 USD, czyli około 2,6× więcej [1]. Wynik dotyczy jednak jednego modelu i jednego scenariusza obciążenia — nie dowodzi oszczędności dla dowolnego modelu, ruchu ani firmy.
Druga strona tego benchmarku jest mniej wygodna. Przy niskiej współbieżności G6e miała niższe opóźnienie pojedynczej odpowiedzi [1], więc przewaga G7e jest funkcją równoległości, a nie stałą cechą sprzętu. AWS deklaruje też do 2,3× wyższej wydajności inferencji względem G6e [1], ale to deklaracja producenta, a nie wynik niezależnego pomiaru.
| Kryterium | G7e.2xlarge | G6e.12xlarge |
|---|---|---|
| Liczba GPU w instancji | 1 | 4 |
| Stawka godzinowa w benchmarku AWS | 4,20 USD | 13,12 USD |
| Koszt 1 mln tokenów wyjściowych przy współbieżności 32 | 0,79 USD | 2,06 USD |
| Opóźnienie pojedynczej odpowiedzi przy niskiej współbieżności | wyższe | niższe |
G7e czy G6e — jak porównać koszt uczciwie?
Godzinowa cena instancji nie jest porównaniem kosztu. AWS podaje 4,20 USD za godzinę dla G7e.2xlarge i 13,12 USD za godzinę dla G6e.12xlarge, ale G7e ma jeden GPU, a G6e cztery [1]. Zestawienie obu stawek bez korekty o liczbę układów i przepustowość prowadzi do błędnego wniosku, że G7e jest trzykrotnie tańsza w każdym zastosowaniu.
Właściwym miernikiem jest koszt na token przy realnym obciążeniu, a nie cena za godzinę pracy maszyny. Niezależne omówienia benchmarku AWS wskazują, że w testach dwóch modeli MoE o 30 mld parametrów G7 osiągnęła najlepszy stosunek ceny do wydajności wśród rodzin G5, G6 i G7 [7][8]. To nadal wynik z określonego zestawu modeli i konfiguracji, więc przed decyzją trzeba powtórzyć pomiar na własnym ruchu.
Kiedy własny endpoint przegrywa z API?
Rozliczenie jest inne po obu stronach. API liczy za tokeny, endpoint SageMaker za czas działania instancji. AWS podaje, że G7e nie ma dodatkowej opłaty za token ani żądanie — płaci się standardową stawkę endpointu [1]. Do rachunku dochodzą jednak storage, transfer, koszt benchmarków i optymalizacji oraz ewentualne plany oszczędnościowe [1]. Przy niskim ruchu stałe utrzymywanie endpointu może być droższe niż API lub autoskalowanie, a przy wysokiej współbieżności koszt na token spada [1].
Praktyczna konsekwencja jest prosta: self-hosting ma sens wtedy, gdy GPU jest realnie zajęty przez większość doby albo gdy dane nie mogą opuścić kontrolowanej infrastruktury. W pozostałych przypadkach API bywa tańsze, nawet przy wyższej cenie za token. Jak wygląda przejście od pilotażu do produkcji, opisujemy w tekście Praktyczne zastosowania AI: od pilotażu do produkcji.
Jak oszacować koszt przed wdrożeniem?
Kalkulację trzeba oprzeć na parametrach obciążenia, a nie na stawce godzinowej. Potrzebne są: liczba tokenów wejściowych i wyjściowych na zapytanie, współbieżność, czas do pierwszego tokenu (TTFT), przepustowość, uptime endpointu i region [1]. Dopiero te wartości pozwalają przeliczyć koszt instancji na koszt pojedynczego zapytania i porównać go z cennikiem API.
Drugi krok to weryfikacja pamięci. Model, batch i długi kontekst zmieniają zużycie VRAM, a przekroczenie 96 GB na układ oznacza konieczność rozbicia modelu na wiele GPU albo kwantyzacji [1][5]. Oba warianty zmieniają zarówno koszt, jak i jakość odpowiedzi. Narzędzia do pracy z danymi i modelami w praktyce omawiamy w artykule Codex w data science: 2 godziny pracy w 10 minut, ale nie bez haczyka.
Czy własny endpoint ogranicza ryzyko wycieku danych?
Własny endpoint w SageMaker przenosi inferencję do infrastruktury, którą kontroluje firma, i eliminuje wysyłanie promptów do zewnętrznego dostawcy API. To nie zastępuje polityki dostępu. Poradniki dotyczące bezpieczeństwa AI w firmie wskazują na zasady data governance i wdrożone procedury jako podstawę ochrony danych [9]. Sam wybór miejsca inferencji nie rozstrzyga, kto ma dostęp do promptów, logów i wyników.
Najczęstsze pytania
Ile kosztuje godzina instancji G7e.2xlarge?
W benchmarku AWS G7e.2xlarge jest wyceniona na 4,20 USD za godzinę [1]. To cena instancji, a nie koszt zapytania — przy niskim wykorzystaniu GPU większość tej kwoty nie przekłada się na obsłużony ruch. Pełny koszt obejmuje też storage, transfer i prace optymalizacyjne [1].
Czy GPT-OSS-120B zmieści się na jednym GPU G7e?
Jest to możliwe. Model ma około 116,8 mld parametrów, z czego 5,1 mld aktywnych na token, i według OpenAI działa na pojedynczym GPU z 80 GB pamięci [4][5]. G7e oferuje 96 GB na układ, ale faktyczne zużycie zależy od długości kontekstu, batcha i kwantyzacji, więc trzeba je sprawdzić na własnym obciążeniu [1].
Czy G7e są dostępne w regionie eu-central-1?
Komunikaty AWS potwierdzają rozszerzenie dostępności G7e w SageMaker AI o regiony europejskie, w tym Londyn, 23 lipca 2026 r. [3]. Przywołane źródła nie przesądzają o Frankfurcie, więc aktualną listę regionów trzeba sprawdzić przed planowaniem wdrożenia.
Czy AWS dolicza opłatę za token na G7e?
Nie. AWS wskazuje, że G7e nie ma dodatkowej opłaty za token ani żądanie — rozliczana jest standardowa stawka endpointu [1]. Osobno trzeba uwzględnić storage, transfer, koszt benchmarków i optymalizacji oraz ewentualne plany oszczędnościowe [1].
Kiedy G7e wychodzą taniej niż API?
Wtedy, gdy GPU jest realnie zajęty. Przy wysokiej współbieżności koszt na token spada, a przy niskim ruchu stała opłata za endpoint może przewyższyć rachunek za API [1]. Decyzję powinien poprzedzić pomiar tokenów wejściowych i wyjściowych, współbieżności oraz uptime'u.
Źródła
- Accelerate Generative AI Inference on Amazon SageMaker AI with G7e Instances (AWS, 2026)
- Amazon EC2 G7e instances are now generally available (AWS, 2026)
- Announcing region expansion of G7e instances on SageMaker AI inference (AWS, 2026)
- Introducing gpt-oss (OpenAI, 2025)
- gpt-oss-120b & gpt-oss-20b Model Card (OpenAI, 2025)
- Announcing Amazon EC2 G7e instances accelerated by NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs (AWS, 2026)
- AWS sprawdza, czy nowe GPU Blackwell opłacają się w praktyce (Sukces AI, 2026)
- Benchmarki inferencji AWS SageMaker AI zestawiają G7 z G5 i G6 (Remio, 2026)
- Wyciek danych sztuczna inteligencja: jak chronić tajemnice? (AI Korzyści, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji