Przejdź do treści

Tutoriale how-to

Asystent głosowy AI: architektura, narzędzia i wyzwania

Zaktualizowano: Autor: Andrzej Niemiec9 min czytania

Jak zbudować asystenta głosowego AI? Pipeline, Deepgram, ElevenLabs, metryki i regulacje RODO — praktyczny przewodnik dla firm.

Asystent głosowy AI: architektura, narzędzia i wyzwania
Spis treści
  1. Dlaczego głosowe asystenty AI przegrywają z naturalną rozmową?
  2. Pięć komponentów asystenta głosowego, które muszą pracować razem
  3. Jakie narzędzia wybrać w 2026?
  4. Metryki, które naprawdę liczą się w produkcji
  5. Regulacje: RODO, deepfake'i i odpowiedzialność
  6. Jak zacząć: minimalny stack do pierwszego prototypu
  7. Najczęstsze pytania
  8. Źródła

Dlaczego głosowe asystenty AI przegrywają z naturalną rozmową?

Głosowy asystent AI to nie tylko model języka podłączony do głośnika. Problem pojawia się, gdy użytkownik przerywa agentowi, czeka na odpowiedź dłużej niż 1 sekunda, lub agent musi sprawdzić dane w zewnętrznym systemie. Każde z tych opóźnień psuje płynność rozmowy i zwiększa frustrację. Autor Technologies, studio AI z Toronto, zbudowało Loquent — platformę głosową dla klinik medycznych — i opisało, jakie decyzje architektoniczne były kluczowe [1].

Po sześciu miesiącach produkcji Autor raportował, że średnia liczba połączeń wzrosła z 1600 do 5200 miesięcznie, średni czas rozmowy skrócił się z 3:42 do 2:51, a satysfakcja pacjentów wzrosła z 3,8/5 do 4,3/5 [2]. Jednak te liczby nie powstały z dnia na dzień — wymagały iteracyjnych zmian w każdym komponencie pipeline'u.

Pięć komponentów asystenta głosowego, które muszą pracować razem

1. Streaming speech recognition — rozpoznawanie mowy w czasie rzeczywistym

Tradicyjne modele, takie jak Whisper od OpenAI, przetwarzają całe wypowiedzi przed zwróceniem wyniku. To dodaje 1–2 sekundy opóźnienia, co w rozmowie jest wiecznością [3]. Rozwiązaniem są usługi takie jak Deepgram, które strumieniują dźwięk i rozpoznają mowę na bieżąco, osiągając latencję poniżej 300 ms [2].

Autor Technologies przeszło z Whisper na Deepgram i zaobserwowało zmianę: czas do pierwszej odpowiedzi spadł z około 2,4 sekundy do około 800 ms [2]. Dla porównania, Whisper osiąga Word Error Rate (WER) około 5% dla angielskiego w idealnych warunkach, ale w hałaśliwych środowiskach (np. klinika z tłem) WER może wzrosnąć do 15–20% [3].

ElevenLabs oferuje Scribe v2 — transkrypcję z diarization, znacznikami czasu i wykrywaniem encji — z opóźnieniem poniżej 150 ms dla wersji real-time [4]. Polska jest oficjalnie obsługiwana [5].

2. Turn detection — kiedy użytkownik skończył mówić?

Agent musi wiedzieć, czy użytkownik skończył zdanie, czy tylko zrobił przerwę. Algorytmy detekcji końca wypowiedzi (end-of-speech detection) analizują przerwy w mowie, intonację i kontekst. Błędy tutaj prowadzą do dwóch problemów: agent przerywa za wcześnie ("Rozumiem, że chcesz...", a użytkownik mówi dalej) lub czeka zbyt długo (milczenie 2+ sekundy, które irytuje).

Deepgram oferuje wbudowane API do detekcji przerwań, które można zintegrować w 2–3 dni [2]. Autor Technologies raportuje, że poprawna detekcja skróciła "głuche momenty" z 1,7 sekundy do 0,4 sekundy [2].

3. Streaming generation — odpowiedź słowo po słowie

Generowanie odpowiedzi przez LLM (np. Claude, GPT-4) trwa 2–5 sekund. Zamiast czekać na całą odpowiedź, agent wysyła ją słowo po słowie, zanim model skończy. To zmniejsza czas do pierwszej odpowiedzi (Time to First Response, TTFR) z 3–4 sekund do około 1 sekundy [2].

Wiele frameworków obsługuje streaming dla większości modeli, ale wymaga konfiguracji. Autor Technologies używa Anthropic Claude z streamingiem i raportuje średni TTFR około 0,8 sekundy [2].

4. Interruption handling — reagowanie na przerwania

Użytkownik przerywa agentowi w połowie zdania. Agent musi:

  • Wykryć przerwanie (analiza głośności, tonu, nowych słów).
  • Przerwać generowanie odpowiedzi.
  • Reagować na nowe polecenie.

Bez tego agent ignoruje przerwanie i kontynuuje swoją wypowiedź, co zwiększa frustrację. Deepgram oferuje wbudowaną detekcję przerwań [2].

5. Tool calling under voice constraints — wywołania API bez opóźnień

Gdy agent musi sprawdzić dane w zewnętrznym systemie (np. stan konta pacjenta, dostępne terminy wizyt), opóźnienie 2+ sekundy zabija płynność rozmowy. Rozwiązania:

  • Cache'owanie danych: pobieranie informacji co 5 minut, zamiast przy każdym pytaniu.
  • Asynchroniczne wywołania: agent kontynuuje rozmowę ("Sprawdzam to dla Ciebie"), a wynik dostarcza później.
  • Prefetching: przewidywanie, jakie dane mogą być potrzebne, i pobieranie ich przed pytaniem.

Autor Technologies zoptymalizowało tool calling i raportuje zmniejszenie opóźnień z około 4,2 sekundy do około 1,1 sekundy [2].

Jakie narzędzia wybrać w 2026?

KomponentOpen-sourceKomercyjnyKoszt (orientacyjnie)
Speech recognitionWhisper [3]Deepgram, ElevenLabs Scribe v2 [2], [4]0,005–0,02 PLN za minutę
Turn detectionCustom (Python)Deepgram API [2]Wliczone w speech rec.
Streaming generationFastAPI + LLMFrameworki wspierające streaming [6]0 PLN (open-source)
Interruption handlingCustom (WebSocket)Deepgram API [2]Wliczone w speech rec.
Tool callingCustom (HTTP)Integracje z API [6]0 PLN (open-source)
Text-to-speechWhisper (reverse)ElevenLabs v4 [4], [7]0,005–0,02 PLN za minutę

Open-source vs. komercyjne: co wybrać?

Open-source (Whisper, custom rozwiązania):

  • Pełna kontrola nad danymi.
  • Brak kosztów za API.
  • Wymaga więcej pracy (integracja, testowanie, skalowanie).
  • Wyższe WER w hałaśliwych środowiskach [3].

Komercyjne (Deepgram, ElevenLabs):

  • Latencja <300 ms i obsługa przerwań [2].
  • Wsparcie dla polskiego [4], [5].
  • Koszt: około 0,02 PLN za minutę mowy (przy 1000 minut/miesiąc ≈ 20 PLN) [2].

Metryki, które naprawdę liczą się w produkcji

Testowanie głosowych agentów to nie tylko sprawdzanie, czy rozumieją mowę. To symulowanie realnych warunków — przerwań, hałasu, błędów w wymowie.

Word Error Rate (WER) vs. Conversation Success Rate (CSR)

WER mierzy dokładność rozpoznawania mowy (np. 5% dla Whisper [3]). CSR mierzy, ile rozmów zakończyło się sukcesem (np. 89% automatyzacji dla Loquent po sześciu miesiącach [2]).

Wysoki WER (np. 15%) nie zawsze oznacza złą rozmowę — agent może zrozumieć intencję ("Chcę złożyć reklamację"), nawet jeśli pomyli słowa. Dlatego CSR jest ważniejszą metryką niż WER.

Time to First Response (TTFR) i Total Conversation Time (TCT)

  • TTFR: czas od końca wypowiedzi użytkownika do pierwszej odpowiedzi agenta. Cel: <1 sekunda.
  • TCT: czas trwania całej rozmowy. Cel: <2 minuty dla prostych zapytań.

Autor Technologies raportuje średni TTFR około 0,8 sekundy i średni czas rozmowy około 2:51 [2].

Regulacje: RODO, deepfake'i i odpowiedzialność

RODO a nagrywanie głosu

Nagrywanie rozmów z pacjentami wymaga ich zgody (art. 6 GDPR). Dane dotyczące zdrowia należą do szczególnych kategorii i wymagają dodatkowego warunku z art. 9 GDPR [8], [9]. Bez zgody grozi kara do 20 mln EUR lub 4% rocznego obrotu.

Rozwiązania:

  • Zgoda na początku rozmowy: "Ta rozmowa jest nagrywana w celu poprawy jakości usług. Czy wyrażasz zgodę?".
  • Anonimizacja: usunięcie metadanych (np. numeru telefonu).
  • Przechowywanie w UE: serwery w Polsce lub Niemczech.

Transparentność — AI Act

Od 2 sierpnia 2026 roku art. 50 AI Act wymaga, by osoby wiedziały, że rozmawiają z AI [10], [11]. Dotyczy to także interaktywnych agentów głosowych.

Odpowiedzialność za błędy

Kto odpowiada, gdy agent poda błędne informacje? Rozwiązania:

  • Ograniczenie odpowiedzialności: w umowie z klientem jasno określ, że agent działa "w oparciu o dostępne dane".
  • Logowanie rozmów: przechowywanie nagrań i transkrypcji na wypadek reklamacji.

Jak zacząć: minimalny stack do pierwszego prototypu

Krok 1: Wybierz narzędzia

KomponentNarzędzieCzas implementacji
Speech recognitionElevenLabs Scribe v2 [4]1 dzień
Turn detectionDeepgram API [2]1 dzień
Streaming generationFastAPI + Claude [2]2 dni
Interruption handlingDeepgram API [2]1 dzień
Tool callingHTTP requests [2]2 dni
Text-to-speechElevenLabs v4 [4], [7]1 dzień

Koszt: około 500 PLN/miesiąc (przy 1000 minut mowy).

Krok 2: Zasoby do trenowania

  • Dane mowy: Common Voice (Mozilla) — zbiór nagrań w 100+ językach, w tym polskim.
  • Modele: Whisper (open-source) [3] lub Hugging Face (np. Wav2Vec 2.0).
  • Testowe API: Deepgram oferuje darmowe 60 minut mowy miesięcznie [2].

Krok 3: Integracja z istniejącymi systemami

  • CRM: Salesforce, HubSpot (pobieranie danych klienta).
  • Bazy danych: PostgreSQL, MySQL (sprawdzanie stanu zamówienia).
  • Komunikacja: Slack, Teams (powiadomienia).

Autor Technologies zintegrował Loquent z systemem rezerwacji klinik i raportuje, że średni czas obsługi zapytania spadł o około 23% (z 3:42 do 2:51) [2].

Najczęstsze pytania

Ile czasu zajmuje zbudowanie asystenta głosowego AI?

Prototyp funkcjonalny — 2–4 tygodnie. Wersja produkcyjna z obsługą przerwań, cache'owaniem i integracją z CRM — 2–3 miesiące. Autor Technologies raportuje, że początkowa wersja Loquent zajęła mniej niż osiem tygodni, ale wymagała iteracyjnych zmian przez kolejne sześć miesięcy [1], [2].

Czy mogę używać Whisper zamiast Deepgram?

Tak, ale z zastrzeżeniami. Whisper jest darmowy i open-source, ale ma wyższe opóźnienie (1–2 sekundy) i wyższy WER w hałaśliwych środowiskach. Dla aplikacji wymagających latencji <500 ms Deepgram lub ElevenLabs Scribe v2 są lepszym wyborem [2], [3], [4].

Czy asystent głosowy AI może obsługiwać polski?

Tak. ElevenLabs oficjalnie obsługuje polski w TTS (text-to-speech) i STT (speech-to-text) [4], [5]. Deepgram również obsługuje polski [2]. Suno i Udio obsługują polskie prompty, ale nie publikują formalnej gwarancji jakości dla polskiego [12], [13].

Ile kosztuje asystent głosowy AI?

Zależy od liczby minut mowy. Deepgram: około 0,005–0,02 PLN za minutę [2]. ElevenLabs Scribe v2: około 0,005–0,02 PLN za minutę [4]. Przy 1000 minut/miesiąc koszt wynosi około 5–20 PLN. Dodaj koszt LLM (np. Claude, GPT-4) — około 50–200 PLN/miesiąc.

Czy asystent głosowy AI narusza RODO?

Nie, jeśli uzyskasz zgodę pacjenta na nagrywanie i przechowujesz dane w UE. Dane dotyczące zdrowia wymagają dodatkowego warunku z art. 9 GDPR [8], [9]. Od 2 sierpnia 2026 roku musisz również poinformować użytkownika, że rozmawia z AI [10], [11].

Źródła

  1. We Built a Voice AI Receptionist in 8 Weeks — Every Decision We Made and Why (Autor Technologies, 2026)
  2. 6 Months of Running a Production Voice AI — What Changed, What Broke, What We'd Rebuild (Autor Technologies, 2026)
  3. Introducing Whisper (OpenAI, 2022)
  4. Introducing Scribe v2 (ElevenLabs, 2026)
  5. Free Polish Text to Speech & Polish AI Voices (ElevenLabs)
  6. Agent głosowy AI po polsku — jak zbudować go w 15 minut (2026) (ElevenLabs)
  7. September 28, 2026 — ElevenLabs Changelog (ElevenLabs, 2026)
  8. What are the rules on special category data? (ICO)
  9. Article 9 GDPR (GDPRhub)
  10. Guidelines on transparency obligations for providers and deployers of certain AI systems (European Commission, 2026)
  11. EU AI Act's Transparency Rules: What Went Into Effect on 2 August? (Morgan Lewis, 2026)
  12. Suno | Pricing (Suno)
  13. Udio Pricing - Flexible Plans for AI Music Creation (Udio)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji