News & analizy
Czy ton promptu zmienia odpowiedź AI? Co pokazało badanie
Zaktualizowano: Autor: Andrzej Niemiec11 min czytania
Ton promptu zmienił trafność odpowiedzi ChatGPT-4o o około 4 punkty procentowe w preprintcie z 2025 roku. Sprawdzamy, co badanie wykazało, a czego nie dowodzi.
Spis treści
- Czy ton pytania wpływa na poprawność odpowiedzi AI?
- Co dokładnie zbadano w eksperymencie?
- Czy badanie dotyczyło zadań bez rozwiązania?
- Jakie wyniki uzyskały poszczególne tony?
- Czy wynik oznacza, że model kłamie pod wpływem tonu?
- Czy większe lub nowsze modele są odporne na ton?
- Jakie ograniczenia ma badanie?
- Jak pisać prompty, żeby dostać rzetelną odpowiedź?
- Najczęstsze pytania
- Źródła
Czy ton pytania wpływa na poprawność odpowiedzi AI?
Tak, w jednym eksperymencie wpływ był mierzalny, ale mały. Przy zachowaniu treści pytania zmiana tonu przesunęła średnią dokładność ChatGPT-4o o około 4 punkty procentowe. To wynik pojedynczego, wstępnego preprintu na 50 pytaniach, a nie ogólna zasada działania modeli językowych [1][2].
Preprint „Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy” przygotowali Om Dobariya i Akhil Kumar z Penn State. Pracę zgłoszono 6 października 2025 r. [1]. Autorzy mierzyli trafność odpowiedzi, nie intencję modelu ani skłonność do świadomego wprowadzania w błąd [2].
Co dokładnie zbadano w eksperymencie?
Eksperyment objął 50 pytań wielokrotnego wyboru z matematyki, nauk ścisłych i historii. Każde pytanie przepisano w pięciu tonach, co dało 250 wariantów promptów, a każdy uruchomiono po 10 razy [1].
Tonami były Very Polite, Polite, Neutral, Rude i Very Rude. Testowanym systemem był ChatGPT-4o, produkt OpenAI [1]. Badanie nie obejmowało modeli uruchamianych lokalnie, takich jak Llama, Mistral czy Gemma, ani zadań programistycznych. W materiale opisującym eksperyment nie ma scenariusza z dzieleniem przez zero [1][2].
Czy badanie dotyczyło zadań bez rozwiązania?
Nie. W eksperymencie użyto pytań wielokrotnego wyboru, które mają ustaloną poprawną odpowiedź. Dzielenie przez zero pojawia się w dyskusjach o takich zadaniach, ale nie było częścią testu [1].
Dwie rzeczy trzeba rozdzielić. Dzielenie przez zero jest w standardowej arytmetyce niezdefiniowane, bo zero nie ma odwrotności multiplikatywnej; nie należy utożsamiać wyniku z nieskończonością [3]. Model językowy może wygenerować tekst, który wygląda jak rozwiązanie, ale nie znaczy to, że badanie „Mind Your Tone” taki przypadek testowało [1].
Jakie wyniki uzyskały poszczególne tony?
Najwyższą średnią dokładność uzyskał ton Very Rude, a najniższą Very Polite. Różnica między skrajnościami wyniosła 4,0 punktu procentowego, przy czym wyniki pośrednich tonów nie układały się w prostą linię [2].
| Ton promptu | Średnia dokładność | Dolna granica zakresu | Górna granica zakresu |
|---|---|---|---|
| Very Polite | 80,8% | 80% | 82% |
| Neutral | 82,2% | nie podano | nie podano |
| Rude | 82,8% | nie podano | nie podano |
| Very Rude | 84,8% | 82% | 86% |
Ton Neutral wypadł lepiej niż Very Polite, a Rude lepiej niż Neutral. Różnica nie jest więc prostym przeciwstawieniem uprzejmości i chamstwa: w tym eksperymencie skrajne tony wypadły inaczej niż środkowe, a rozrzut wyników przy Very Rude sięgał 4 punktów procentowych [2].
Czy wynik oznacza, że model kłamie pod wpływem tonu?
Nie. Autorzy mierzyli poprawność odpowiedzi, a nie kłamstwo, intencję oszustwa czy halucynację [2]. Błędna odpowiedź modelu nie musi oznaczać, że model chce wprowadzić w błąd.
Polskie omówienia halucynacji zwracają uwagę, że zmyślone treści wynikają z braku wystarczających instrukcji i ograniczeń modelu, a nie z decyzji o skłamaniu [5]. To rozróżnienie ma znaczenie praktyczne: jeśli problemem jest trafność, rozwiązaniem jest lepsza weryfikacja odpowiedzi, a nie zmiana tonu [5].
Czy większe lub nowsze modele są odporne na ton?
Nie wiadomo na podstawie samego preprintu. Badanie „Mind Your Tone” opierało się na jednym głównym modelu, więc nie pozwala wnioskować o wszystkich chatbotach [2].
Późniejsze badanie objęło GPT-4o mini, Gemini 2.0 Flash i Llama 4 Scout. Jego autorzy wskazali, że wpływ tonu zależy od modelu i dziedziny, a przy agregacji wyników często zanika [4]. To osłabia prostą tezę, że uprzejmość zawsze pogarsza, a chamstwo zawsze poprawia rezultat.
Jakie ograniczenia ma badanie?
Autorzy sami wymieniają ograniczenia: mały zbiór 50 pytań, jeden główny model, pytania wielokrotnego wyboru oraz zależność od konkretnych markerów językowych i kultury [2]. Wyniki nazywają wstępnymi.
Z tego powodu nie należy przenosić wniosków na kodowanie, rozmowy otwarte ani zastosowania produkcyjne. Autorzy nie rekomendowali też toksycznych ani wrogich interfejsów, mimo że najwyższa średnia przypadła na ton Very Rude [2].
Jak pisać prompty, żeby dostać rzetelną odpowiedź?
Najkrótsza odpowiedź: pisz jasno, konkretnie i neutralnie. Nie musisz obrażać modelu, żeby dostać sensowną odpowiedź, a uprzejmość nie jest gwarancją trafności [2][4].
Praktyczne zasady:
- Podaj zadanie i kryteria poprawności, zamiast naciskać na wynik.
- Dopuść odpowiedź „nie wiem” lub „to jest niemożliwe”, jeśli takie są fakty.
- Oddziel dane od oczekiwań: nie wpisuj w prompt z góry założonego wniosku.
- Sprawdź odpowiedź na kilku uruchomieniach, zwłaszcza gdy wynik ma trafić do decyzji.
Testy na własnych zadaniach opisuje artykuł o benchmarkach AI. Jeśli korzystasz z modeli do analizy danych, zobacz też materiał o Codexie w data science, a o ograniczeniach wyszukiwania opartego na AI piszemy w tekście o Google Search z AI.
Najczęstsze pytania
Czy trzeba być nieuprzejmym wobec AI, żeby dostać lepszą odpowiedź?
Nie. W preprintcie „Mind Your Tone” ton Very Rude uzyskał średnio 84,8%, a Very Polite 80,8%, ale różnica 4 punktów procentowych pochodzi z małej próby i jednego modelu [2]. Późniejsze badanie pokazało, że efekt zależy od modelu i dziedziny [4]. Autorzy nie rekomendowali wrogich interfejsów [2].
Czy badanie dotyczyło modeli uruchamianych lokalnie?
Nie. Testowanym systemem był ChatGPT-4o, czyli model OpenAI dostępny jako usługa [1]. Badanie nie obejmowało Llamy, Mistrala, Gemmy ani innych modeli hostowanych na własnym serwerze, więc nie uzasadnia wniosków o ich zachowaniu [1][2].
Jak duża była różnica między skrajnymi tonami?
Średnia dokładność wyniosła 80,8% dla Very Polite i 84,8% dla Very Rude, czyli 4,0 punktu procentowego różnicy [2]. Neutral uzyskał około 82,2%, a Rude około 82,8% [2]. Zakres wyników w dziesięciu powtórzeniach sięgał od 80 do 86%, zależnie od tonu [2].
Co to oznacza dla firm, które używają AI do obsługi klienta?
Ton promptu nie jest głównym mechanizmem odpowiedzialnym za błędy. Większe znaczenie ma weryfikacja odpowiedzi i jasne kryteria zadania [5]. Firma powinna testować model na własnych pytaniach, sprawdzać odpowiedzi w krytycznych procesach i nie zakładać, że jeden styl promptu rozwiązuje problem halucynacji [2][5].
Źródła
- [[2510.04950] Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (arXiv, 2025)](https://arxiv.org/abs/2510.04950)
- Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (arXiv, 2025)
- Why we cannot divide by zero — Michael J. Neely (University of Southern California)
- Does Tone Change the Answer? Evaluating Prompt Politeness Effects on Modern LLMs: GPT, Gemini, and LLaMA (arXiv, 2025)
- Dlaczego AI kłamie? (StormIT)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji