Tutoriale how-to
Asystent głosowy AI: architektura, narzędzia i wyzwania
Zaktualizowano: Autor: Andrzej Niemiec9 min czytania
Jak zbudować asystenta głosowego AI? Pipeline, Deepgram, ElevenLabs, metryki i regulacje RODO — praktyczny przewodnik dla firm.
Spis treści
- Dlaczego głosowe asystenty AI przegrywają z naturalną rozmową?
- Pięć komponentów asystenta głosowego, które muszą pracować razem
- Jakie narzędzia wybrać w 2026?
- Metryki, które naprawdę liczą się w produkcji
- Regulacje: RODO, deepfake'i i odpowiedzialność
- Jak zacząć: minimalny stack do pierwszego prototypu
- Najczęstsze pytania
- Źródła
Dlaczego głosowe asystenty AI przegrywają z naturalną rozmową?
Głosowy asystent AI to nie tylko model języka podłączony do głośnika. Problem pojawia się, gdy użytkownik przerywa agentowi, czeka na odpowiedź dłużej niż 1 sekunda, lub agent musi sprawdzić dane w zewnętrznym systemie. Każde z tych opóźnień psuje płynność rozmowy i zwiększa frustrację. Autor Technologies, studio AI z Toronto, zbudowało Loquent — platformę głosową dla klinik medycznych — i opisało, jakie decyzje architektoniczne były kluczowe [1].
Po sześciu miesiącach produkcji Autor raportował, że średnia liczba połączeń wzrosła z 1600 do 5200 miesięcznie, średni czas rozmowy skrócił się z 3:42 do 2:51, a satysfakcja pacjentów wzrosła z 3,8/5 do 4,3/5 [2]. Jednak te liczby nie powstały z dnia na dzień — wymagały iteracyjnych zmian w każdym komponencie pipeline'u.
Pięć komponentów asystenta głosowego, które muszą pracować razem
1. Streaming speech recognition — rozpoznawanie mowy w czasie rzeczywistym
Tradicyjne modele, takie jak Whisper od OpenAI, przetwarzają całe wypowiedzi przed zwróceniem wyniku. To dodaje 1–2 sekundy opóźnienia, co w rozmowie jest wiecznością [3]. Rozwiązaniem są usługi takie jak Deepgram, które strumieniują dźwięk i rozpoznają mowę na bieżąco, osiągając latencję poniżej 300 ms [2].
Autor Technologies przeszło z Whisper na Deepgram i zaobserwowało zmianę: czas do pierwszej odpowiedzi spadł z około 2,4 sekundy do około 800 ms [2]. Dla porównania, Whisper osiąga Word Error Rate (WER) około 5% dla angielskiego w idealnych warunkach, ale w hałaśliwych środowiskach (np. klinika z tłem) WER może wzrosnąć do 15–20% [3].
ElevenLabs oferuje Scribe v2 — transkrypcję z diarization, znacznikami czasu i wykrywaniem encji — z opóźnieniem poniżej 150 ms dla wersji real-time [4]. Polska jest oficjalnie obsługiwana [5].
2. Turn detection — kiedy użytkownik skończył mówić?
Agent musi wiedzieć, czy użytkownik skończył zdanie, czy tylko zrobił przerwę. Algorytmy detekcji końca wypowiedzi (end-of-speech detection) analizują przerwy w mowie, intonację i kontekst. Błędy tutaj prowadzą do dwóch problemów: agent przerywa za wcześnie ("Rozumiem, że chcesz...", a użytkownik mówi dalej) lub czeka zbyt długo (milczenie 2+ sekundy, które irytuje).
Deepgram oferuje wbudowane API do detekcji przerwań, które można zintegrować w 2–3 dni [2]. Autor Technologies raportuje, że poprawna detekcja skróciła "głuche momenty" z 1,7 sekundy do 0,4 sekundy [2].
3. Streaming generation — odpowiedź słowo po słowie
Generowanie odpowiedzi przez LLM (np. Claude, GPT-4) trwa 2–5 sekund. Zamiast czekać na całą odpowiedź, agent wysyła ją słowo po słowie, zanim model skończy. To zmniejsza czas do pierwszej odpowiedzi (Time to First Response, TTFR) z 3–4 sekund do około 1 sekundy [2].
Wiele frameworków obsługuje streaming dla większości modeli, ale wymaga konfiguracji. Autor Technologies używa Anthropic Claude z streamingiem i raportuje średni TTFR około 0,8 sekundy [2].
4. Interruption handling — reagowanie na przerwania
Użytkownik przerywa agentowi w połowie zdania. Agent musi:
- Wykryć przerwanie (analiza głośności, tonu, nowych słów).
- Przerwać generowanie odpowiedzi.
- Reagować na nowe polecenie.
Bez tego agent ignoruje przerwanie i kontynuuje swoją wypowiedź, co zwiększa frustrację. Deepgram oferuje wbudowaną detekcję przerwań [2].
5. Tool calling under voice constraints — wywołania API bez opóźnień
Gdy agent musi sprawdzić dane w zewnętrznym systemie (np. stan konta pacjenta, dostępne terminy wizyt), opóźnienie 2+ sekundy zabija płynność rozmowy. Rozwiązania:
- Cache'owanie danych: pobieranie informacji co 5 minut, zamiast przy każdym pytaniu.
- Asynchroniczne wywołania: agent kontynuuje rozmowę ("Sprawdzam to dla Ciebie"), a wynik dostarcza później.
- Prefetching: przewidywanie, jakie dane mogą być potrzebne, i pobieranie ich przed pytaniem.
Autor Technologies zoptymalizowało tool calling i raportuje zmniejszenie opóźnień z około 4,2 sekundy do około 1,1 sekundy [2].
Jakie narzędzia wybrać w 2026?
| Komponent | Open-source | Komercyjny | Koszt (orientacyjnie) |
|---|---|---|---|
| Speech recognition | Whisper [3] | Deepgram, ElevenLabs Scribe v2 [2], [4] | 0,005–0,02 PLN za minutę |
| Turn detection | Custom (Python) | Deepgram API [2] | Wliczone w speech rec. |
| Streaming generation | FastAPI + LLM | Frameworki wspierające streaming [6] | 0 PLN (open-source) |
| Interruption handling | Custom (WebSocket) | Deepgram API [2] | Wliczone w speech rec. |
| Tool calling | Custom (HTTP) | Integracje z API [6] | 0 PLN (open-source) |
| Text-to-speech | Whisper (reverse) | ElevenLabs v4 [4], [7] | 0,005–0,02 PLN za minutę |
Open-source vs. komercyjne: co wybrać?
Open-source (Whisper, custom rozwiązania):
- Pełna kontrola nad danymi.
- Brak kosztów za API.
- Wymaga więcej pracy (integracja, testowanie, skalowanie).
- Wyższe WER w hałaśliwych środowiskach [3].
Komercyjne (Deepgram, ElevenLabs):
- Latencja <300 ms i obsługa przerwań [2].
- Wsparcie dla polskiego [4], [5].
- Koszt: około 0,02 PLN za minutę mowy (przy 1000 minut/miesiąc ≈ 20 PLN) [2].
Metryki, które naprawdę liczą się w produkcji
Testowanie głosowych agentów to nie tylko sprawdzanie, czy rozumieją mowę. To symulowanie realnych warunków — przerwań, hałasu, błędów w wymowie.
Word Error Rate (WER) vs. Conversation Success Rate (CSR)
WER mierzy dokładność rozpoznawania mowy (np. 5% dla Whisper [3]). CSR mierzy, ile rozmów zakończyło się sukcesem (np. 89% automatyzacji dla Loquent po sześciu miesiącach [2]).
Wysoki WER (np. 15%) nie zawsze oznacza złą rozmowę — agent może zrozumieć intencję ("Chcę złożyć reklamację"), nawet jeśli pomyli słowa. Dlatego CSR jest ważniejszą metryką niż WER.
Time to First Response (TTFR) i Total Conversation Time (TCT)
- TTFR: czas od końca wypowiedzi użytkownika do pierwszej odpowiedzi agenta. Cel: <1 sekunda.
- TCT: czas trwania całej rozmowy. Cel: <2 minuty dla prostych zapytań.
Autor Technologies raportuje średni TTFR około 0,8 sekundy i średni czas rozmowy około 2:51 [2].
Regulacje: RODO, deepfake'i i odpowiedzialność
RODO a nagrywanie głosu
Nagrywanie rozmów z pacjentami wymaga ich zgody (art. 6 GDPR). Dane dotyczące zdrowia należą do szczególnych kategorii i wymagają dodatkowego warunku z art. 9 GDPR [8], [9]. Bez zgody grozi kara do 20 mln EUR lub 4% rocznego obrotu.
Rozwiązania:
- Zgoda na początku rozmowy: "Ta rozmowa jest nagrywana w celu poprawy jakości usług. Czy wyrażasz zgodę?".
- Anonimizacja: usunięcie metadanych (np. numeru telefonu).
- Przechowywanie w UE: serwery w Polsce lub Niemczech.
Transparentność — AI Act
Od 2 sierpnia 2026 roku art. 50 AI Act wymaga, by osoby wiedziały, że rozmawiają z AI [10], [11]. Dotyczy to także interaktywnych agentów głosowych.
Odpowiedzialność za błędy
Kto odpowiada, gdy agent poda błędne informacje? Rozwiązania:
- Ograniczenie odpowiedzialności: w umowie z klientem jasno określ, że agent działa "w oparciu o dostępne dane".
- Logowanie rozmów: przechowywanie nagrań i transkrypcji na wypadek reklamacji.
Jak zacząć: minimalny stack do pierwszego prototypu
Krok 1: Wybierz narzędzia
| Komponent | Narzędzie | Czas implementacji |
|---|---|---|
| Speech recognition | ElevenLabs Scribe v2 [4] | 1 dzień |
| Turn detection | Deepgram API [2] | 1 dzień |
| Streaming generation | FastAPI + Claude [2] | 2 dni |
| Interruption handling | Deepgram API [2] | 1 dzień |
| Tool calling | HTTP requests [2] | 2 dni |
| Text-to-speech | ElevenLabs v4 [4], [7] | 1 dzień |
Koszt: około 500 PLN/miesiąc (przy 1000 minut mowy).
Krok 2: Zasoby do trenowania
- Dane mowy: Common Voice (Mozilla) — zbiór nagrań w 100+ językach, w tym polskim.
- Modele: Whisper (open-source) [3] lub Hugging Face (np. Wav2Vec 2.0).
- Testowe API: Deepgram oferuje darmowe 60 minut mowy miesięcznie [2].
Krok 3: Integracja z istniejącymi systemami
- CRM: Salesforce, HubSpot (pobieranie danych klienta).
- Bazy danych: PostgreSQL, MySQL (sprawdzanie stanu zamówienia).
- Komunikacja: Slack, Teams (powiadomienia).
Autor Technologies zintegrował Loquent z systemem rezerwacji klinik i raportuje, że średni czas obsługi zapytania spadł o około 23% (z 3:42 do 2:51) [2].
Najczęstsze pytania
Ile czasu zajmuje zbudowanie asystenta głosowego AI?
Prototyp funkcjonalny — 2–4 tygodnie. Wersja produkcyjna z obsługą przerwań, cache'owaniem i integracją z CRM — 2–3 miesiące. Autor Technologies raportuje, że początkowa wersja Loquent zajęła mniej niż osiem tygodni, ale wymagała iteracyjnych zmian przez kolejne sześć miesięcy [1], [2].
Czy mogę używać Whisper zamiast Deepgram?
Tak, ale z zastrzeżeniami. Whisper jest darmowy i open-source, ale ma wyższe opóźnienie (1–2 sekundy) i wyższy WER w hałaśliwych środowiskach. Dla aplikacji wymagających latencji <500 ms Deepgram lub ElevenLabs Scribe v2 są lepszym wyborem [2], [3], [4].
Czy asystent głosowy AI może obsługiwać polski?
Tak. ElevenLabs oficjalnie obsługuje polski w TTS (text-to-speech) i STT (speech-to-text) [4], [5]. Deepgram również obsługuje polski [2]. Suno i Udio obsługują polskie prompty, ale nie publikują formalnej gwarancji jakości dla polskiego [12], [13].
Ile kosztuje asystent głosowy AI?
Zależy od liczby minut mowy. Deepgram: około 0,005–0,02 PLN za minutę [2]. ElevenLabs Scribe v2: około 0,005–0,02 PLN za minutę [4]. Przy 1000 minut/miesiąc koszt wynosi około 5–20 PLN. Dodaj koszt LLM (np. Claude, GPT-4) — około 50–200 PLN/miesiąc.
Czy asystent głosowy AI narusza RODO?
Nie, jeśli uzyskasz zgodę pacjenta na nagrywanie i przechowujesz dane w UE. Dane dotyczące zdrowia wymagają dodatkowego warunku z art. 9 GDPR [8], [9]. Od 2 sierpnia 2026 roku musisz również poinformować użytkownika, że rozmawia z AI [10], [11].
Źródła
- We Built a Voice AI Receptionist in 8 Weeks — Every Decision We Made and Why (Autor Technologies, 2026)
- 6 Months of Running a Production Voice AI — What Changed, What Broke, What We'd Rebuild (Autor Technologies, 2026)
- Introducing Whisper (OpenAI, 2022)
- Introducing Scribe v2 (ElevenLabs, 2026)
- Free Polish Text to Speech & Polish AI Voices (ElevenLabs)
- Agent głosowy AI po polsku — jak zbudować go w 15 minut (2026) (ElevenLabs)
- September 28, 2026 — ElevenLabs Changelog (ElevenLabs, 2026)
- What are the rules on special category data? (ICO)
- Article 9 GDPR (GDPRhub)
- Guidelines on transparency obligations for providers and deployers of certain AI systems (European Commission, 2026)
- EU AI Act's Transparency Rules: What Went Into Effect on 2 August? (Morgan Lewis, 2026)
- Suno | Pricing (Suno)
- Udio Pricing - Flexible Plans for AI Music Creation (Udio)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji