Przejdź do treści

News & analizy

Czy ton promptu zmienia odpowiedź AI? Co pokazało badanie

Zaktualizowano: Autor: Andrzej Niemiec11 min czytania

Ton promptu zmienił trafność odpowiedzi ChatGPT-4o o około 4 punkty procentowe w preprintcie z 2025 roku. Sprawdzamy, co badanie wykazało, a czego nie dowodzi.

Czy ton promptu zmienia odpowiedź AI? Co pokazało badanie
Spis treści
  1. Czy ton pytania wpływa na poprawność odpowiedzi AI?
  2. Co dokładnie zbadano w eksperymencie?
  3. Czy badanie dotyczyło zadań bez rozwiązania?
  4. Jakie wyniki uzyskały poszczególne tony?
  5. Czy wynik oznacza, że model kłamie pod wpływem tonu?
  6. Czy większe lub nowsze modele są odporne na ton?
  7. Jakie ograniczenia ma badanie?
  8. Jak pisać prompty, żeby dostać rzetelną odpowiedź?
  9. Najczęstsze pytania
  10. Źródła

Czy ton pytania wpływa na poprawność odpowiedzi AI?

Tak, w jednym eksperymencie wpływ był mierzalny, ale mały. Przy zachowaniu treści pytania zmiana tonu przesunęła średnią dokładność ChatGPT-4o o około 4 punkty procentowe. To wynik pojedynczego, wstępnego preprintu na 50 pytaniach, a nie ogólna zasada działania modeli językowych [1][2].

Preprint „Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy” przygotowali Om Dobariya i Akhil Kumar z Penn State. Pracę zgłoszono 6 października 2025 r. [1]. Autorzy mierzyli trafność odpowiedzi, nie intencję modelu ani skłonność do świadomego wprowadzania w błąd [2].

Co dokładnie zbadano w eksperymencie?

Eksperyment objął 50 pytań wielokrotnego wyboru z matematyki, nauk ścisłych i historii. Każde pytanie przepisano w pięciu tonach, co dało 250 wariantów promptów, a każdy uruchomiono po 10 razy [1].

Tonami były Very Polite, Polite, Neutral, Rude i Very Rude. Testowanym systemem był ChatGPT-4o, produkt OpenAI [1]. Badanie nie obejmowało modeli uruchamianych lokalnie, takich jak Llama, Mistral czy Gemma, ani zadań programistycznych. W materiale opisującym eksperyment nie ma scenariusza z dzieleniem przez zero [1][2].

Czy badanie dotyczyło zadań bez rozwiązania?

Nie. W eksperymencie użyto pytań wielokrotnego wyboru, które mają ustaloną poprawną odpowiedź. Dzielenie przez zero pojawia się w dyskusjach o takich zadaniach, ale nie było częścią testu [1].

Dwie rzeczy trzeba rozdzielić. Dzielenie przez zero jest w standardowej arytmetyce niezdefiniowane, bo zero nie ma odwrotności multiplikatywnej; nie należy utożsamiać wyniku z nieskończonością [3]. Model językowy może wygenerować tekst, który wygląda jak rozwiązanie, ale nie znaczy to, że badanie „Mind Your Tone” taki przypadek testowało [1].

Jakie wyniki uzyskały poszczególne tony?

Najwyższą średnią dokładność uzyskał ton Very Rude, a najniższą Very Polite. Różnica między skrajnościami wyniosła 4,0 punktu procentowego, przy czym wyniki pośrednich tonów nie układały się w prostą linię [2].

Ton promptuŚrednia dokładnośćDolna granica zakresuGórna granica zakresu
Very Polite80,8%80%82%
Neutral82,2%nie podanonie podano
Rude82,8%nie podanonie podano
Very Rude84,8%82%86%

Ton Neutral wypadł lepiej niż Very Polite, a Rude lepiej niż Neutral. Różnica nie jest więc prostym przeciwstawieniem uprzejmości i chamstwa: w tym eksperymencie skrajne tony wypadły inaczej niż środkowe, a rozrzut wyników przy Very Rude sięgał 4 punktów procentowych [2].

Czy wynik oznacza, że model kłamie pod wpływem tonu?

Nie. Autorzy mierzyli poprawność odpowiedzi, a nie kłamstwo, intencję oszustwa czy halucynację [2]. Błędna odpowiedź modelu nie musi oznaczać, że model chce wprowadzić w błąd.

Polskie omówienia halucynacji zwracają uwagę, że zmyślone treści wynikają z braku wystarczających instrukcji i ograniczeń modelu, a nie z decyzji o skłamaniu [5]. To rozróżnienie ma znaczenie praktyczne: jeśli problemem jest trafność, rozwiązaniem jest lepsza weryfikacja odpowiedzi, a nie zmiana tonu [5].

Czy większe lub nowsze modele są odporne na ton?

Nie wiadomo na podstawie samego preprintu. Badanie „Mind Your Tone” opierało się na jednym głównym modelu, więc nie pozwala wnioskować o wszystkich chatbotach [2].

Późniejsze badanie objęło GPT-4o mini, Gemini 2.0 Flash i Llama 4 Scout. Jego autorzy wskazali, że wpływ tonu zależy od modelu i dziedziny, a przy agregacji wyników często zanika [4]. To osłabia prostą tezę, że uprzejmość zawsze pogarsza, a chamstwo zawsze poprawia rezultat.

Jakie ograniczenia ma badanie?

Autorzy sami wymieniają ograniczenia: mały zbiór 50 pytań, jeden główny model, pytania wielokrotnego wyboru oraz zależność od konkretnych markerów językowych i kultury [2]. Wyniki nazywają wstępnymi.

Z tego powodu nie należy przenosić wniosków na kodowanie, rozmowy otwarte ani zastosowania produkcyjne. Autorzy nie rekomendowali też toksycznych ani wrogich interfejsów, mimo że najwyższa średnia przypadła na ton Very Rude [2].

Jak pisać prompty, żeby dostać rzetelną odpowiedź?

Najkrótsza odpowiedź: pisz jasno, konkretnie i neutralnie. Nie musisz obrażać modelu, żeby dostać sensowną odpowiedź, a uprzejmość nie jest gwarancją trafności [2][4].

Praktyczne zasady:

  • Podaj zadanie i kryteria poprawności, zamiast naciskać na wynik.
  • Dopuść odpowiedź „nie wiem” lub „to jest niemożliwe”, jeśli takie są fakty.
  • Oddziel dane od oczekiwań: nie wpisuj w prompt z góry założonego wniosku.
  • Sprawdź odpowiedź na kilku uruchomieniach, zwłaszcza gdy wynik ma trafić do decyzji.

Testy na własnych zadaniach opisuje artykuł o benchmarkach AI. Jeśli korzystasz z modeli do analizy danych, zobacz też materiał o Codexie w data science, a o ograniczeniach wyszukiwania opartego na AI piszemy w tekście o Google Search z AI.

Najczęstsze pytania

Czy trzeba być nieuprzejmym wobec AI, żeby dostać lepszą odpowiedź?

Nie. W preprintcie „Mind Your Tone” ton Very Rude uzyskał średnio 84,8%, a Very Polite 80,8%, ale różnica 4 punktów procentowych pochodzi z małej próby i jednego modelu [2]. Późniejsze badanie pokazało, że efekt zależy od modelu i dziedziny [4]. Autorzy nie rekomendowali wrogich interfejsów [2].

Czy badanie dotyczyło modeli uruchamianych lokalnie?

Nie. Testowanym systemem był ChatGPT-4o, czyli model OpenAI dostępny jako usługa [1]. Badanie nie obejmowało Llamy, Mistrala, Gemmy ani innych modeli hostowanych na własnym serwerze, więc nie uzasadnia wniosków o ich zachowaniu [1][2].

Jak duża była różnica między skrajnymi tonami?

Średnia dokładność wyniosła 80,8% dla Very Polite i 84,8% dla Very Rude, czyli 4,0 punktu procentowego różnicy [2]. Neutral uzyskał około 82,2%, a Rude około 82,8% [2]. Zakres wyników w dziesięciu powtórzeniach sięgał od 80 do 86%, zależnie od tonu [2].

Co to oznacza dla firm, które używają AI do obsługi klienta?

Ton promptu nie jest głównym mechanizmem odpowiedzialnym za błędy. Większe znaczenie ma weryfikacja odpowiedzi i jasne kryteria zadania [5]. Firma powinna testować model na własnych pytaniach, sprawdzać odpowiedzi w krytycznych procesach i nie zakładać, że jeden styl promptu rozwiązuje problem halucynacji [2][5].

Źródła

  1. [[2510.04950] Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (arXiv, 2025)](https://arxiv.org/abs/2510.04950)
  2. Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (arXiv, 2025)
  3. Why we cannot divide by zero — Michael J. Neely (University of Southern California)
  4. Does Tone Change the Answer? Evaluating Prompt Politeness Effects on Modern LLMs: GPT, Gemini, and LLaMA (arXiv, 2025)
  5. Dlaczego AI kłamie? (StormIT)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji