Tutoriale how-to
Transkrypcja głosu na żywo poniżej 150 ms: jak zbudować aplikację w
Zaktualizowano: Autor: Andrzej Niemiec7 min czytania
Dowiedz się, jak osiągnąć transkrypcję mowy na tekst z opóźnieniem poniżej 150 ms. Praktyczny przewodnik po architekturze, narzędziach i budżecie opóźnień…
Spis treści
- Co oznacza opóźnienie 150 ms w transkrypcji głosu?
- Jak działa architektura transkrypcji w czasie rzeczywistym?
- Jakie narzędzia osiągają opóźnienie poniżej 200 ms?
- Jak zbudować aplikację z WebSocket i Scribe v2 Realtime?
- Czy 150 ms wystarczy dla telemedycyny i customer service?
- Jakie są główne wyzwania przy wdrażaniu?
- Najczęstsze pytania
- Źródła
Co oznacza opóźnienie 150 ms w transkrypcji głosu?
Opóźnienie 150 ms to orientacyjny próg jednokierunkowej transmisji głosu, ale w systemie transkrypcji AI oznacza ono opóźnienie samego modelu STT, nie całej aplikacji. Międzynarodowy standard ITU-T G.114 klasyfikuje opóźnienia 0–150 ms jako akceptowalne dla większości zastosowań, a powyżej 400 ms jako nieakceptowalne do planowania sieci [1]. ElevenLabs Scribe v2 Realtime deklaruje około 150 ms opóźnienia dla częściowych wyników transkrypcji [2], ale całkowity czas od ust do wyświetlenia tekstu obejmuje również przechwytywanie, VAD, transport sieciowy, ewentualny LLM i bufor jitter — razem może to być 400–700 ms [3].
Jak działa architektura transkrypcji w czasie rzeczywistym?
System transkrypcji na żywo składa się z pięciu głównych etapów. Pierwszy to przechwytywanie audio przez mikrofon i redukcja szumu; drugi — Voice Activity Detection (VAD), który wykrywa, kiedy użytkownik mówi. Trzeci etap to transport audio do serwera przez WebSocket lub WebRTC, czwarty — przetwarzanie przez model STT (tutaj powstaje opóźnienie 150 ms), piąty — wysłanie wyniku do klienta i wyświetlenie [2].
Każdy etap ma swój budżet opóźnienia. Przechwytywanie i VAD zajmują około 20–50 ms, transport sieciowy 30–100 ms (zależy od lokalizacji serwera), model STT 100–150 ms, a bufor jitter i odtwarzanie 50–100 ms. Razem daje to 200–400 ms w optymalnych warunkach, ale w sieciach Wi-Fi lub 4G może być więcej [3].
Jakie narzędzia osiągają opóźnienie poniżej 200 ms?
| Narzędzie | Opóźnienie modelu | Obsługa polskiego | Transport | Dostęp |
|---|---|---|---|---|
| ElevenLabs Scribe v2 Realtime | ~150 ms | Tak, ponad 90 języków | WebSocket | API, SDK |
| OpenAI Realtime API | ~150–200 ms | Nie oficjalnie | WebRTC | API |
| Whisper (OpenAI) | 5–30 s (batch) | Tak | HTTP | Lokalne, API |
| Notta | ~2–5 s | Tak | WebSocket | Web, aplikacja |
| Otter.ai | ~5–10 s | Nie | WebSocket | Web, aplikacja |
ElevenLabs Scribe v2 Realtime jest obecnie jedynym narzędziem, które oficjalnie deklaruje opóźnienie poniżej 150 ms dla modelu i obsługuje polski [1]. Whisper OpenAI ma niskie opóźnienie dla pojedynczych plików, ale nie jest przeznaczony do streamingu na żywo. Notta i Otter pracują w czasie rzeczywistym, ale ich opóźnienie wynosi kilka sekund [2].
Jak zbudować aplikację z WebSocket i Scribe v2 Realtime?
Zacznij od konta ElevenLabs i API key. Biblioteka elevenlabs dla Pythona lub JavaScript obsługuje WebSocket do streamingu audio. Oto schemat:
- Przechwytaj audio z mikrofonu za pomocą
navigator.mediaDevices.getUserMedia()(przeglądarka) lubpyaudio(Python). - Skompresuj audio do formatu PCM 16 kHz, 16-bit (Scribe v2 Realtime przyjmuje 8–48 kHz).
- Otwórz WebSocket do
wss://api.elevenlabs.io/v1/speech-to-textz nagłówkiemAuthorization: Bearer YOUR_API_KEY. - Wysyłaj ramki audio co około 100 ms (około 1600 bajtów przy 16 kHz).
- Odbieraj częściowe wyniki (
is_final: false) i wyniki końcowe (is_final: true). - Wyświetl tekst w interfejsie użytkownika.
Przykład w JavaScript:
const apiKey = 'YOUR_API_KEY';
const ws = new WebSocket('wss://api.elevenlabs.io/v1/speech-to-text');
ws.onopen = () => {
ws.send(JSON.stringify({ type: 'init', api_key: apiKey }));
};
ws.onmessage = (event) => {
const data = JSON.parse(event.data);
if (data.is_final) {
console.log('Wynik końcowy:', data.text);
} else {
console.log('Wynik częściowy:', data.text);
}
};
// Wysyłanie audio
audioStream.on('data', (chunk) => {
ws.send(JSON.stringify({ type: 'audio', audio: chunk.toString('base64') }));
});
Czy 150 ms wystarczy dla telemedycyny i customer service?
Dla telemedycyny opóźnienie poniżej 200 ms end-to-end jest wystarczające, ale nie idealne. ITU-T G.114 podaje, że opóźnienia 150–400 ms są akceptowalne dla większości zastosowań, choć mogą powodować wzajemne wchodzenie w słowo [1]. W praktyce lekarz może pracować z opóźnieniem 300–400 ms, ale transkrypcja w czasie rzeczywistym (poniżej 200 ms) poprawia doświadczenie pacjenta i ułatwia dokumentację [2].
Dla customer service chatboty głosowe z opóźnieniem poniżej 200 ms brzmią naturalnie; powyżej 300 ms użytkownik czuje opóźnienie i może zacząć mówić, zanim agent skończy pytanie [3]. ElevenLabs Scribe v2 Realtime z Voice Agents może osiągnąć całkowite opóźnienie 400–600 ms w typowej konfiguracji, co jest akceptowalne dla większości scenariuszy [3].
Jakie są główne wyzwania przy wdrażaniu?
Pierwsze wyzwanie to sieć. Opóźnienie transportu zależy od lokalizacji serwera ElevenLabs (Europa, USA, Azja) i połączenia użytkownika (Wi-Fi, 4G, 5G). Drugi problem to VAD — wykrywanie końca wypowiedzi. Jeśli VAD czeka zbyt długo, opóźnienie rośnie; jeśli czeka zbyt krótko, przerywa użytkownika. ElevenLabs Scribe v2 Realtime obsługuje ręczne zatwierdzanie segmentów, co daje kontrolę [2].
Trzecie, częściowe wyniki mogą się zmieniać. Gdy model wysyła wynik częściowy, tekst może być niedokładny; wynik końcowy jest dokładniejszy, ale pojawia się później. Dla aplikacji, które wymagają natychmiastowej akcji (np. chatbot), trzeba zdecydować, czy działać na wynikach częściowych, czy czekać na końcowe [2].
Czwarte, koszt. ElevenLabs Scribe v2 Realtime zużywa kredyty: około 330 kredytów za minutę transkrypcji. Plan Creator (22 USD/mies.) daje 121 000 kredytów, czyli około 6 godzin transkrypcji miesięcznie [1]. Dla aplikacji z dużą liczbą użytkowników plan Pro (99 USD/mies.) lub Scale (299 USD/mies.) jest konieczny.
Najczęstsze pytania
Czy 150 ms to opóźnienie od ust do tekstu?
Nie. 150 ms to opóźnienie samego modelu STT. Całkowite opóźnienie od ust do wyświetlenia tekstu obejmuje przechwytywanie audio (20–50 ms), VAD (20–50 ms), transport (30–100 ms), model (100–150 ms) i bufor (50–100 ms), razem 220–450 ms [3].
Czy Whisper OpenAI jest szybszy niż Scribe v2 Realtime?
Whisper jest szybki dla pojedynczych plików (5–30 sekund dla całego pliku), ale nie jest przeznaczony do streamingu na żywo. Scribe v2 Realtime jest przeznaczony do streamingu i osiąga ~150 ms opóźnienia dla częściowych wyników [2].
Czy mogę używać Scribe v2 Realtime bez API?
Nie. Scribe v2 Realtime jest dostępny wyłącznie przez API i SDK. ElevenLabs oferuje również Speech to Text (Scribe v2) w interfejsie web, ale to jest batch processing, nie streaming [1].
Czy polski jest obsługiwany?
Tak. ElevenLabs Scribe v2 Realtime obsługuje polski i ponad 90 innych języków [1]. Whisper OpenAI również obsługuje polski [2].
Ile kosztuje wdrożenie dla 100 użytkowników dziennie?
Jeśli każdy użytkownik transkrybuje średnio 5 minut dziennie, to 500 minut/dzień = 15 000 minut/miesiąc. Przy 330 kredytach/minutę to 4,95 mln kredytów/miesiąc. Plan Scale (299 USD/mies.) daje 1,8 mln kredytów, więc trzeba Enterprise. Orientacyjnie 500–2000 USD/miesiąc w zależności od umowy [1].
Źródła
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji