Copilot odpowiada pewnie, ale błędnie - kiedy szczególnie nie ufać

Microsoft 365 Copilot

Copilot odpowiada pewnie, ale błędnie - kiedy szczególnie nie ufać

W skrócie

Copilot odpowiada zawsze tym samym pewnym tonem - i przy poprawnej odpowiedzi, i przy takiej, która się myli. Ten problem dotyczy każdego, kto po kilku trafnych odpowiedziach przestaje sprawdzać i zaczyna wklejać w ciemno. Pokazujemy, w których dokładnie momentach czujność powinna być największa, żeby błędna odpowiedź nie wyszła pod Twoim nazwiskiem.

Jak to wyglada w praktyce

Copilot podaje kwotę do oferty albo cytat "z dokumentu" gładko, bez cienia wahania. Nie sygnalizuje niepewności, nie pisze "chyba" ani "prawdopodobnie" - po prostu odpowiada. Przez to trudno na oko odróżnić fakt odczytany z pliku od czegoś, co model dopowiedział. Na własnych plikach widzieliśmy, że po dopytaniu część "danych" okazywała się interpretacją: Copilot podał ranking "TOP 3 najniższej marży", choć dokument wcale go tak nie nazywał - numery pozycji nadał sam po posortowaniu. Kwoty były z pliku, ranking nie. Pewny ton dotyczył obu warstw jednakowo. To jest sedno problemu: pewność w głosie nie jest miarą trafności.

Dlaczego Copilot tak robi

Model językowy formułuje odpowiedzi płynnie z natury i nie ma wbudowanego wskaźnika własnej niepewności widocznego w tonie. Warto jednak wiedzieć, co sprawdziliśmy: na ośmiu pytaniach o nasze pliki, przy włączonym Work IQ, Copilot nie zmyślił ani razu, a tam, gdzie brakowało podstaw, odmawiał i nazywał powód. Ryzyko błędnej, choć pewnie brzmiącej odpowiedzi nie leży więc w skłonności do zmyślania w tym trybie, tylko w konkretnych sytuacjach: gdy pracuje na danych wklejonych wprost do rozmowy zamiast na pliku, gdy skraca długi materiał i sam decyduje, co jest ważne, gdy parafrazuje cytat, albo gdy porządkuje dane i dokłada etykiety, których w źródle nie było. To są miejsca, w których pewny ton najłatwiej wprowadza w błąd.

Jak to rozwiazac krok po kroku

1. Zapal czerwoną lampkę przy każdej konkretnej liczbie lub kwocie, która trafi do raportu, oferty albo decyzji. To najczęstsze miejsce kosztownych pomyłek - sprawdź ją u źródła.
2. Nie ufaj cytatom i przytoczeniom bez oryginału. Zażądaj dokładnego zdania: "Zacytuj dokładny fragment dokumentu, na którym opierasz to twierdzenie, z nazwą pliku i sekcją."
3. Przy podsumowaniach długich materiałów, na podstawie których podejmiesz decyzję, wróć do oryginału - skrót zawsze coś pomija, a Copilot decyduje sam, co jest ważne.
4. Rozdziel fakty od interpretacji: "Które liczby pochodzą wprost z dokumentu, a które oszacowałeś albo wyliczyłeś samodzielnie? Rozpisz to w dwóch osobnych listach."
5. Przy treściach prawnych, finansowych, medycznych albo o dużych konsekwencjach potwierdzaj merytorykę u eksperta i w dokumencie źródłowym. Copilot może tu pomóc zredagować, ale nie rozstrzyga.
6. Odwróć odruch: im ważniejsza decyzja, tym więcej weryfikacji, a nie mniej. Pokusa "szybko zapytać i mieć z głowy" jest tu największa i najbardziej myląca.

Jak sprawdzic, ze zadzialalo

Sprawdź, czy każda z pięciu sytuacji ryzykownych ma u Ciebie przypisany odruch weryfikacji: liczby i kwoty do raportu, cytaty i przytoczenia, podsumowania będące podstawą decyzji, pytania o dane, których w plikach może nie być, oraz treści prawne, finansowe i medyczne. Po prompcie rozdzielającym fakty od oszacowań widzisz, ile z odpowiedzi jest cytatem, a ile interpretacją. Jeśli liczba, na której chcesz oprzeć decyzję, ma wskazane źródło, opis drogi obliczenia i potwierdza się w pliku po kliknięciu w odnośnik, możesz jej zaufać. Jeśli Copilot nie potrafi wskazać źródła, potraktuj pewny ton jako pozór i przelicz wartość samodzielnie w arkuszu.

Wroc do listy: 200 najczestszych problemow z Microsoft 365 Copilot