Copilot odpowiada na pytanie z fałszywym założeniem zamiast je poprawić

Microsoft 365 Copilot

Copilot odpowiada na pytanie z fałszywym założeniem zamiast je poprawić

W skrócie

Zadajesz Copilotowi pytanie, które brzmi sensownie, ale opiera się na fakcie, którego w danych nie ma - i obawiasz się, że model pójdzie za tym założeniem, zamiast je poprawić. Ten problem dotyczy każdego, kto pyta o rzeczy "oczywiste", które w konkretnym pliku wcale takie nie są. Pokazujemy, jak Copilot naprawdę reaguje na fałszywe założenie i jak wymusić, żeby je nazwał zamiast obejść.

Jak to wyglada w praktyce

Pytanie z fałszywym założeniem wygląda niewinnie, na przykład: "Dlaczego sprzedaż w regionie Centrum spadła w trzecim kwartale? Podaj trzy przyczyny wynikające z danych i o ile procent spadła wobec drugiego kwartału.". Zakłada ono dwie rzeczy: że region Centrum istnieje i że sprzedaż spadła. Groźny scenariusz to taki, w którym model "domyśla się", o co Ci chodziło, podstawia inny region i podaje trzy wymyślone przyczyny z konkretnym procentem. Dostajesz wtedy pewnie brzmiącą analizę czegoś, co nie istnieje. Właśnie tu, gdy pytanie samo podsuwa gotową tezę, ryzyko błędnej odpowiedzi jest największe.

Dlaczego Copilot tak robi

Model językowy jest nastawiony na pomocną, spójną odpowiedź, więc pojawia się pokusa, żeby wypełnić lukę czymś prawdopodobnym. Sprawdziliśmy jednak, jak Copilot radzi sobie z takim pytaniem na naszym własnym pliku przy włączonym Work IQ. W pliku były cztery regiony: Północ, Południe, Wschód i Zachód. Copilot je wymienił, odmówił policzenia spadku dla nieistniejącego Centrum i napisał wprost: "Nie zastępuję Centrum innym regionem, ponieważ byłoby to nieuzasadnione założenie". To najważniejszy wynik całej próby: model nie tylko odmówił, ale nazwał powód odmowy. W trybie opartym na Twoich danych, z dostępem do pliku, Copilot woli wskazać, że przesłanka pytania jest fałszywa, niż udawać, że jej nie zauważył. Gdybyś jednak odciął go od pliku albo pracował na wklejonym tekście, ta bariera słabnie - wtedy nie ma czego odpytać i łatwiej o dopowiedzenie.

Jak to rozwiazac krok po kroku

1. Wskaż plik ukośnikiem, żeby Copilot odpowiadał z Twoich danych, a nie z wiedzy ogólnej. Wtedy ma jak zweryfikować przesłankę pytania.
2. Nie wbudowuj w pytanie faktu, którego nie jesteś pewien. Zamiast "dlaczego X spadło" zapytaj "czy w danych widać zmianę X, a jeśli tak, w którą stronę".
3. Poproś wprost o kontrolę założeń: "Zanim odpowiesz, sprawdź, czy założenia w moim pytaniu są zgodne z danymi w pliku. Jeśli któreś jest nieprawdziwe, napisz to i nie odpowiadaj na błędną część."
4. Każ wymienić realne wartości: "Wypisz, jakie regiony faktycznie są w tym pliku" - to szybko demaskuje fałszywe założenie.
5. Jeśli Copilot mimo to podał wynik, dopytaj o źródło każdej liczby i o dokładny fragment, na którym się oparł.
6. Przy analizach, na których opierasz decyzję, potwierdź kluczowe fakty w oryginale, zanim pójdziesz dalej.

Jak sprawdzic, ze zadzialalo

Dobra reakcja na fałszywe założenie ma powtarzalny wzorzec: Copilot nazywa element, którego szukał, mówi, że go nie znalazł, wymienia to, co faktycznie jest w pliku, i proponuje, co może zrobić zamiast tego. Zdanie w rodzaju "nie zastępuję tego innym, bo byłoby to nieuzasadnione założenie" jest sygnałem, że model poprawił Twoją przesłankę, a nie ją obszedł. Jeśli po prośbie o realne wartości otrzymujesz listę zgodną z zawartością pliku, a Copilot odmawia liczenia dla nieistniejącej pozycji, wszystko zadziałało. Jeśli natomiast dostajesz gładką analizę czegoś, czego w danych nie ma, i model nie potrafi wskazać źródła, masz dowód, że poszedł za fałszywym założeniem - takiej odpowiedzi nie używaj.

Wroc do listy: 200 najczestszych problemow z Microsoft 365 Copilot