Przejdź do treści

Praktyczne zastosowania

Lokalny model AI a halucynacje: jak ograniczyć zmyślanie chatbota

Zaktualizowano: Autor: Andrzej Niemiec10 min czytania

Lokalny LLM nie eliminuje halucynacji. Co realnie ogranicza zmyślanie w chatbotach: dane z ERP, deterministyczne kody rabatowe, guardraile i testy prompt injection.

Lokalny model AI a halucynacje: jak ograniczyć zmyślanie chatbota
Spis treści
  1. Czy lokalny model AI przestaje zmyślać, gdy działa na własnym serwerze?
  2. Co wydarzyło się w brytyjskim sklepie w lutym 2026 roku?
  3. Czym właściwie jest halucynacja według NIST i OWASP?
  4. Kto odpowiada za błędną odpowiedź chatbota?
  5. Jakie dane muszą pochodzić z systemu źródłowego?
  6. Które podejście wybrać — porównanie
  7. Jak zabezpieczyć promocje i kody rabatowe?
  8. Jakie modele lokalne warto sprawdzić w październiku 2026?
  9. Jak zacząć w małej skali?
  10. Najczęstsze pytania
  11. Źródła

Czy lokalny model AI przestaje zmyślać, gdy działa na własnym serwerze?

Nie. Uruchomienie modelu na firmowym sprzęcie zmienia miejsce przetwarzania danych i sposób rozliczeń, ale nie usuwa mechanizmu powstawania błędu. Model językowy generuje najbardziej prawdopodobny ciąg tokenów, a nie sprawdza faktów w bazie. Badacze OpenAI opisują halucynację jako skutek sposobu oceniania modeli: system jest nagradzany za pewną odpowiedź także wtedy, gdy brakuje mu wiedzy [1]. Znaczenie mają dane i warstwy weryfikacji, a nie hosting. Podstawy uruchamiania zebraliśmy w przewodniku po lokalnych modelach AI.

Lokalny model daje dwie konkretne korzyści: dane nie muszą opuszczać firmy, a koszt zapytań przestaje rosnąć wraz z ruchem. Nie usuwa jednak skłonności do konfabulacji. Konfabulacja oznacza wiarygodnie brzmiący, lecz fałszywy lub mylący wynik, a nie intencjonalne kłamstwo. Pytanie brzmi więc nie „lokalnie czy w chmurze”, tylko „skąd model bierze dane o cenach i promocjach”. Różnice między architekturami modeli opisujemy w artykule MoE vs dense.

Co wydarzyło się w brytyjskim sklepie w lutym 2026 roku?

6 lutego 2026 r. klient anonimowego brytyjskiego sklepu przez około godzinę rozmawiał z chatbotem obsługi po godzinach pracy. Nakłonił go do negocjacji rabatu: najpierw 25%, potem 80%. Następnie wpisał fikcyjny kod w komentarzu do zamówienia o wartości ponad 8000 GBP [2][3]. Kod nie zadziałał w koszyku, zamówienie anulowano, a depozyt zwrócono.

Nie ma potwierdzenia, by firma poniosła stratę — relacje mówią o próbie zakupu, nie o zrealizowanej sprzedaży. Źródła nie potwierdzają też polskiej wersji tego zdarzenia. Opisywany przypadek dotyczy firmy w Anglii, która pozostała anonimowa. Kwoty i szczegóły należy cytować za relacjami, a nie przenosić na inny rynek.

Czym właściwie jest halucynacja według NIST i OWASP?

NIST nazywa to zjawisko konfabulacją: system generuje i przedstawia z przekonaniem treści fałszywe lub mylące [4]. OWASP klasyfikuje podobne ryzyko jako LLM09:2025 Misinformation, a osobno jako LLM01:2025 Prompt injection — bo model można nakłonić do złamania własnych reguł [5]. To rozróżnienie ma praktyczne znaczenie: pierwszy problem dotyczy wiedzy, drugi odporności na manipulację. Oba wymagają innych testów.

Kto odpowiada za błędną odpowiedź chatbota?

Firma. W sprawie Moffatt v. Air Canada z 14 lutego 2024 r. trybunał uznał, że Air Canada odpowiada za błędną informację chatbota o taryfie rodzinnej, i zasądził 812,02 CAD [6][7]. Chatbot został potraktowany jako część witryny firmy, a nie niezależny podmiot. Do tego dochodzą obowiązki przejrzystości z art. 50 AI Act, stosowane od 2 sierpnia 2026 r. — użytkownik powinien wiedzieć, że rozmawia z systemem AI [8][9]. Dla części systemów istniejących wcześniej przewidziano termin 2 grudnia 2026 r. dotyczący oznaczania treści generowanych maszynowo [9].

Jakie dane muszą pochodzić z systemu źródłowego?

Ceny, stany magazynowe, promocje, statusy zamówień i terminy dostaw nie powinny być generowane z pamięci modelu. Muszą pochodzić z aktualnego ERP, CRM, platformy e-commerce lub API [10]. Retrieval-augmented generation pomaga, bo dostarcza modelowi dokumenty domenowe, ale nie gwarantuje prawdy — błędne, nieaktualne lub źle dobrane źródła nadal prowadzą do fałszywej odpowiedzi [11][12]. Dlatego RAG traktujemy jako uzupełnienie połączenia z systemem, nie jako jego zamiennik.

Które podejście wybrać — porównanie

Poniższa tabela zestawia trzy typowe konfiguracje pod kątem danych dynamicznych, takich jak ceny i promocje.

KryteriumModel bez dostępu do danychRAG na firmowych dokumentachDane z ERP/API i guardraile
Aktualność cen i promocjizależy od daty treninguzależy od częstotliwości indeksowaniaaktualna w momencie zapytania
Ryzyko halucynacjiwysokie przy danych dynamicznychśrednie, źródła mogą być błędneniskie dla pól objętych guardrailami
Kontrola nad rabatamibrakczęściowapełna, kod tworzony po stronie serwera
Koszt utrzymanianajniższyśredni, wymaga pipeline'unajwyższy, wymaga integracji

Jak zabezpieczyć promocje i kody rabatowe?

Model może opisać zatwierdzoną ofertę, ale nie powinien sam ustalać rabatu ani generować kodów. Kod musi powstawać i być walidowany po stronie serwera, z limitem rabatu, datą ważności i regułami kwalifikacji. Dla cen, rabatów, płatności, reklamacji i obietnic logistycznych system powinien odpowiadać wyłącznie na podstawie zweryfikowanych danych albo przekazywać sprawę człowiekowi [10].

Testy powinny obejmować prompt injection: manipulowanie modelem, wieloturowe rozmowy, języki obce i próby wymuszenia nieautoryzowanych rabatów [5]. Samo sprawdzanie zwykłych pytań nie wystarcza, bo atak polega na zmianie reguł, a nie na błędzie w bazie wiedzy.

Jakie modele lokalne warto sprawdzić w październiku 2026?

Nie ma jednego najlepszego modelu — wybór zależy od języka, zadania, pamięci i licencji. Najnowsza stabilna wersja Ollamy widoczna 15 października 2026 r. to v0.40.4 z 12 października 2026 r.; wydanie obejmuje między innymi poprawki wydajności Gemma 4 na GPU NVIDIA i multimodalne embeddingi [13]. LM Studio wskazuje v0.4.26 jako aktualną wersję dla Windows, bez dokładnej daty wydania na stronie pobierania [14]. Modele lokalne są bezpłatne i bez limitu zapytań po stronie Ollama; płatne plany chmurowe zaczynają się od 20 USD miesięcznie [20].

Dla polskich wdrożeń warto sprawdzić Bielik-11B-v3.0-Instruct (SpeakLeash i ACK Cyfronet AGH, Apache 2.0 według karty modelu, brak wbudowanych mechanizmów moderacji) [17] oraz PLLuM-12B-chat-2512, dostrajany pod dialog, RAG i zadania administracyjne [18]. W benchmarku LLMzSzŁ Bielik-11B-v2.1-Instruct uzyskał 57,52 punktu, ale wynik dotyczy starszej wersji i konkretnego testu, więc nie jest uniwersalnym rankingiem [19]. Szerszy kontekst daje artykuł Ranking modeli AI open source.

Pamięć planujemy ostrożnie. Model 7B–8B to około 8 GB VRAM albo 16 GB RAM, 12B–14B wymaga 12–16 GB VRAM lub 24 GB RAM, a 70B w Q4 potrzebuje około 40–48 GB pamięci [15]. LM Studio zaleca co najmniej 16 GB RAM na macOS i Windows [16]. Kwantyzacja Q4 zwykle daje najlepszy kompromis jakość-rozmiar. Sprzętowe wdrożenia omawiamy też w tekście Gorgon Halo kontra Strix Halo.

Jak zacząć w małej skali?

  1. Wypisz pytania, na które chatbot odpowiada błędnie — najczęściej dotyczą cen, dostępności i promocji.
  2. Sprawdź, czy dane są dostępne przez API i jak często się zmieniają.
  3. Podłącz model do systemu źródłowego, zamiast uczyć go cen na pamięć.
  4. Wprowadź guardraile i eskalację do człowieka dla rabatów i płatności.
  5. Dodaj testy prompt injection i monitoring odpowiedzi.

Najczęstsze pytania

Czy lokalny model halucynuje rzadziej niż chmurowy?

Nie z powodu samego hostingu. Różnicę robi model, kontekst i warstwy weryfikacji [1]. Lokalne uruchomienie daje kontrolę nad danymi i kosztem, ale nie usuwa statystycznego charakteru generowania tekstu.

Czy RAG wystarcza, żeby chatbot nie zmyślał?

Nie. RAG dostarcza dokumenty, ale jeśli są nieaktualne lub źle dobrane, odpowiedź nadal może być fałszywa [11][12]. Dla danych dynamicznych potrzebne jest połączenie z systemem źródłowym i walidacja po stronie serwera.

Czy chatbot może sam udzielać rabatów?

Nie powinien ustalać rabatu ani tworzyć kodu. Kod rabatowy musi powstawać i być sprawdzany po stronie serwera, z limitem wartości i datą ważności [10].

Czy firma odpowiada za odpowiedzi chatbota?

Tak. W sprawie Air Canada trybunał uznał firmę za odpowiedzialną za błędną informację chatbota i zasądził 812,02 CAD [6][7]. Chatbot był częścią witryny, nie osobnym podmiotem.

Czy trzeba ujawniać, że rozmówca to AI?

Obowiązki przejrzystości z art. 50 AI Act stosują się od 2 sierpnia 2026 r. [8][9]. Użytkownik powinien wiedzieć, że rozmawia z systemem AI.

Źródła

  1. Why Language Models Hallucinate (OpenAI, 2025)
  2. An AI chat-assist created and offered a customer an 80% off offer (Reddit r/LegalAdviceUK, 2026)
  3. Customer Talks AI Chatbot Into 80% Discount on £8,000 Order (Aardwolf Security, 2026)
  4. Latest NIST Guidance Identifies Generative AI Risks (Davis Wright Tremaine, 2024)
  5. OWASP Top 10 for LLM Applications 2025 (OWASP, 2025)
  6. BC Tribunal Confirms Companies Remain Liable for Information Provided by AI Chatbot (American Bar Association, 2024)
  7. Air Canada found liable for chatbot's bad advice on bereavement rates (CBC, 2024)
  8. EU AI Act's Transparency Rules: What Went Into Effect on 2 August? (Morgan Lewis, 2026)
  9. EU AI Act Article 50 Transparency Obligations Go Live (Baker Botts, 2026)
  10. Halucynacje chatbota w obsłudze klienta: redukcja ryzyka (Internet Stars)
  11. Optimizing LLM Accuracy (OpenAI)
  12. How to parse PDF docs for RAG (OpenAI Cookbook)
  13. Release v0.40.4 (ollama/ollama, 2026)
  14. Download LM Studio - Mac, Linux, Windows (LM Studio)
  15. Hardware support (Ollama)
  16. System Requirements (LM Studio)
  17. speakleash/Bielik-11B-v3.0-Instruct (Hugging Face)
  18. CYFRAGOVPL/PLLuM-12B-chat-2512 (Hugging Face)
  19. LLMzSzŁ: a comprehensive LLM benchmark for Polish (arXiv, 2025)
  20. Ollama Pricing (Ollama)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji