Praktyczne zastosowania
Lokalny model AI a halucynacje: jak ograniczyć zmyślanie chatbota
Zaktualizowano: Autor: Andrzej Niemiec10 min czytania
Lokalny LLM nie eliminuje halucynacji. Co realnie ogranicza zmyślanie w chatbotach: dane z ERP, deterministyczne kody rabatowe, guardraile i testy prompt injection.
Spis treści
- Czy lokalny model AI przestaje zmyślać, gdy działa na własnym serwerze?
- Co wydarzyło się w brytyjskim sklepie w lutym 2026 roku?
- Czym właściwie jest halucynacja według NIST i OWASP?
- Kto odpowiada za błędną odpowiedź chatbota?
- Jakie dane muszą pochodzić z systemu źródłowego?
- Które podejście wybrać — porównanie
- Jak zabezpieczyć promocje i kody rabatowe?
- Jakie modele lokalne warto sprawdzić w październiku 2026?
- Jak zacząć w małej skali?
- Najczęstsze pytania
- Źródła
Czy lokalny model AI przestaje zmyślać, gdy działa na własnym serwerze?
Nie. Uruchomienie modelu na firmowym sprzęcie zmienia miejsce przetwarzania danych i sposób rozliczeń, ale nie usuwa mechanizmu powstawania błędu. Model językowy generuje najbardziej prawdopodobny ciąg tokenów, a nie sprawdza faktów w bazie. Badacze OpenAI opisują halucynację jako skutek sposobu oceniania modeli: system jest nagradzany za pewną odpowiedź także wtedy, gdy brakuje mu wiedzy [1]. Znaczenie mają dane i warstwy weryfikacji, a nie hosting. Podstawy uruchamiania zebraliśmy w przewodniku po lokalnych modelach AI.
Lokalny model daje dwie konkretne korzyści: dane nie muszą opuszczać firmy, a koszt zapytań przestaje rosnąć wraz z ruchem. Nie usuwa jednak skłonności do konfabulacji. Konfabulacja oznacza wiarygodnie brzmiący, lecz fałszywy lub mylący wynik, a nie intencjonalne kłamstwo. Pytanie brzmi więc nie „lokalnie czy w chmurze”, tylko „skąd model bierze dane o cenach i promocjach”. Różnice między architekturami modeli opisujemy w artykule MoE vs dense.
Co wydarzyło się w brytyjskim sklepie w lutym 2026 roku?
6 lutego 2026 r. klient anonimowego brytyjskiego sklepu przez około godzinę rozmawiał z chatbotem obsługi po godzinach pracy. Nakłonił go do negocjacji rabatu: najpierw 25%, potem 80%. Następnie wpisał fikcyjny kod w komentarzu do zamówienia o wartości ponad 8000 GBP [2][3]. Kod nie zadziałał w koszyku, zamówienie anulowano, a depozyt zwrócono.
Nie ma potwierdzenia, by firma poniosła stratę — relacje mówią o próbie zakupu, nie o zrealizowanej sprzedaży. Źródła nie potwierdzają też polskiej wersji tego zdarzenia. Opisywany przypadek dotyczy firmy w Anglii, która pozostała anonimowa. Kwoty i szczegóły należy cytować za relacjami, a nie przenosić na inny rynek.
Czym właściwie jest halucynacja według NIST i OWASP?
NIST nazywa to zjawisko konfabulacją: system generuje i przedstawia z przekonaniem treści fałszywe lub mylące [4]. OWASP klasyfikuje podobne ryzyko jako LLM09:2025 Misinformation, a osobno jako LLM01:2025 Prompt injection — bo model można nakłonić do złamania własnych reguł [5]. To rozróżnienie ma praktyczne znaczenie: pierwszy problem dotyczy wiedzy, drugi odporności na manipulację. Oba wymagają innych testów.
Kto odpowiada za błędną odpowiedź chatbota?
Firma. W sprawie Moffatt v. Air Canada z 14 lutego 2024 r. trybunał uznał, że Air Canada odpowiada za błędną informację chatbota o taryfie rodzinnej, i zasądził 812,02 CAD [6][7]. Chatbot został potraktowany jako część witryny firmy, a nie niezależny podmiot. Do tego dochodzą obowiązki przejrzystości z art. 50 AI Act, stosowane od 2 sierpnia 2026 r. — użytkownik powinien wiedzieć, że rozmawia z systemem AI [8][9]. Dla części systemów istniejących wcześniej przewidziano termin 2 grudnia 2026 r. dotyczący oznaczania treści generowanych maszynowo [9].
Jakie dane muszą pochodzić z systemu źródłowego?
Ceny, stany magazynowe, promocje, statusy zamówień i terminy dostaw nie powinny być generowane z pamięci modelu. Muszą pochodzić z aktualnego ERP, CRM, platformy e-commerce lub API [10]. Retrieval-augmented generation pomaga, bo dostarcza modelowi dokumenty domenowe, ale nie gwarantuje prawdy — błędne, nieaktualne lub źle dobrane źródła nadal prowadzą do fałszywej odpowiedzi [11][12]. Dlatego RAG traktujemy jako uzupełnienie połączenia z systemem, nie jako jego zamiennik.
Które podejście wybrać — porównanie
Poniższa tabela zestawia trzy typowe konfiguracje pod kątem danych dynamicznych, takich jak ceny i promocje.
| Kryterium | Model bez dostępu do danych | RAG na firmowych dokumentach | Dane z ERP/API i guardraile |
|---|---|---|---|
| Aktualność cen i promocji | zależy od daty treningu | zależy od częstotliwości indeksowania | aktualna w momencie zapytania |
| Ryzyko halucynacji | wysokie przy danych dynamicznych | średnie, źródła mogą być błędne | niskie dla pól objętych guardrailami |
| Kontrola nad rabatami | brak | częściowa | pełna, kod tworzony po stronie serwera |
| Koszt utrzymania | najniższy | średni, wymaga pipeline'u | najwyższy, wymaga integracji |
Jak zabezpieczyć promocje i kody rabatowe?
Model może opisać zatwierdzoną ofertę, ale nie powinien sam ustalać rabatu ani generować kodów. Kod musi powstawać i być walidowany po stronie serwera, z limitem rabatu, datą ważności i regułami kwalifikacji. Dla cen, rabatów, płatności, reklamacji i obietnic logistycznych system powinien odpowiadać wyłącznie na podstawie zweryfikowanych danych albo przekazywać sprawę człowiekowi [10].
Testy powinny obejmować prompt injection: manipulowanie modelem, wieloturowe rozmowy, języki obce i próby wymuszenia nieautoryzowanych rabatów [5]. Samo sprawdzanie zwykłych pytań nie wystarcza, bo atak polega na zmianie reguł, a nie na błędzie w bazie wiedzy.
Jakie modele lokalne warto sprawdzić w październiku 2026?
Nie ma jednego najlepszego modelu — wybór zależy od języka, zadania, pamięci i licencji. Najnowsza stabilna wersja Ollamy widoczna 15 października 2026 r. to v0.40.4 z 12 października 2026 r.; wydanie obejmuje między innymi poprawki wydajności Gemma 4 na GPU NVIDIA i multimodalne embeddingi [13]. LM Studio wskazuje v0.4.26 jako aktualną wersję dla Windows, bez dokładnej daty wydania na stronie pobierania [14]. Modele lokalne są bezpłatne i bez limitu zapytań po stronie Ollama; płatne plany chmurowe zaczynają się od 20 USD miesięcznie [20].
Dla polskich wdrożeń warto sprawdzić Bielik-11B-v3.0-Instruct (SpeakLeash i ACK Cyfronet AGH, Apache 2.0 według karty modelu, brak wbudowanych mechanizmów moderacji) [17] oraz PLLuM-12B-chat-2512, dostrajany pod dialog, RAG i zadania administracyjne [18]. W benchmarku LLMzSzŁ Bielik-11B-v2.1-Instruct uzyskał 57,52 punktu, ale wynik dotyczy starszej wersji i konkretnego testu, więc nie jest uniwersalnym rankingiem [19]. Szerszy kontekst daje artykuł Ranking modeli AI open source.
Pamięć planujemy ostrożnie. Model 7B–8B to około 8 GB VRAM albo 16 GB RAM, 12B–14B wymaga 12–16 GB VRAM lub 24 GB RAM, a 70B w Q4 potrzebuje około 40–48 GB pamięci [15]. LM Studio zaleca co najmniej 16 GB RAM na macOS i Windows [16]. Kwantyzacja Q4 zwykle daje najlepszy kompromis jakość-rozmiar. Sprzętowe wdrożenia omawiamy też w tekście Gorgon Halo kontra Strix Halo.
Jak zacząć w małej skali?
- Wypisz pytania, na które chatbot odpowiada błędnie — najczęściej dotyczą cen, dostępności i promocji.
- Sprawdź, czy dane są dostępne przez API i jak często się zmieniają.
- Podłącz model do systemu źródłowego, zamiast uczyć go cen na pamięć.
- Wprowadź guardraile i eskalację do człowieka dla rabatów i płatności.
- Dodaj testy prompt injection i monitoring odpowiedzi.
Najczęstsze pytania
Czy lokalny model halucynuje rzadziej niż chmurowy?
Nie z powodu samego hostingu. Różnicę robi model, kontekst i warstwy weryfikacji [1]. Lokalne uruchomienie daje kontrolę nad danymi i kosztem, ale nie usuwa statystycznego charakteru generowania tekstu.
Czy RAG wystarcza, żeby chatbot nie zmyślał?
Nie. RAG dostarcza dokumenty, ale jeśli są nieaktualne lub źle dobrane, odpowiedź nadal może być fałszywa [11][12]. Dla danych dynamicznych potrzebne jest połączenie z systemem źródłowym i walidacja po stronie serwera.
Czy chatbot może sam udzielać rabatów?
Nie powinien ustalać rabatu ani tworzyć kodu. Kod rabatowy musi powstawać i być sprawdzany po stronie serwera, z limitem wartości i datą ważności [10].
Czy firma odpowiada za odpowiedzi chatbota?
Tak. W sprawie Air Canada trybunał uznał firmę za odpowiedzialną za błędną informację chatbota i zasądził 812,02 CAD [6][7]. Chatbot był częścią witryny, nie osobnym podmiotem.
Czy trzeba ujawniać, że rozmówca to AI?
Obowiązki przejrzystości z art. 50 AI Act stosują się od 2 sierpnia 2026 r. [8][9]. Użytkownik powinien wiedzieć, że rozmawia z systemem AI.
Źródła
- Why Language Models Hallucinate (OpenAI, 2025)
- An AI chat-assist created and offered a customer an 80% off offer (Reddit r/LegalAdviceUK, 2026)
- Customer Talks AI Chatbot Into 80% Discount on £8,000 Order (Aardwolf Security, 2026)
- Latest NIST Guidance Identifies Generative AI Risks (Davis Wright Tremaine, 2024)
- OWASP Top 10 for LLM Applications 2025 (OWASP, 2025)
- BC Tribunal Confirms Companies Remain Liable for Information Provided by AI Chatbot (American Bar Association, 2024)
- Air Canada found liable for chatbot's bad advice on bereavement rates (CBC, 2024)
- EU AI Act's Transparency Rules: What Went Into Effect on 2 August? (Morgan Lewis, 2026)
- EU AI Act Article 50 Transparency Obligations Go Live (Baker Botts, 2026)
- Halucynacje chatbota w obsłudze klienta: redukcja ryzyka (Internet Stars)
- Optimizing LLM Accuracy (OpenAI)
- How to parse PDF docs for RAG (OpenAI Cookbook)
- Release v0.40.4 (ollama/ollama, 2026)
- Download LM Studio - Mac, Linux, Windows (LM Studio)
- Hardware support (Ollama)
- System Requirements (LM Studio)
- speakleash/Bielik-11B-v3.0-Instruct (Hugging Face)
- CYFRAGOVPL/PLLuM-12B-chat-2512 (Hugging Face)
- LLMzSzŁ: a comprehensive LLM benchmark for Polish (arXiv, 2025)
- Ollama Pricing (Ollama)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji