Copilot wymyśla źródła i cytaty - jak wymusić realne odwołania

Microsoft 365 Copilot

Copilot wymyśla źródła i cytaty - jak wymusić realne odwołania

W skrócie

Obawa, że Copilot wymyśli źródło albo przekręci cytat, wraca zawsze, gdy odpowiedź ma trafić do dokumentu, na który ktoś się potem powoła. Ten problem dotyczy każdego, kto przepisuje z Copilota kwoty i przytoczenia "z raportu" do własnej oferty, umowy albo podsumowania dla zarządu. Pokazujemy, jak wymusić realne odwołania i po czym poznać, że Copilot faktycznie cytuje Twój plik, a nie parafrazuje z pamięci.

Jak to wyglada w praktyce

Prosisz o kluczowe ustalenia z dokumentu, a w odpowiedzi pojawia się zdanie w cudzysłowie: "w dokumencie napisano, że...". Brzmi konkretnie, więc wklejasz je dalej. Problem w tym, że model potrafi sparafrazować sens niedokładnie albo przypisać zdanie do złego miejsca. Widzieliśmy to na własnym pliku: Copilot podał "TOP 3 najniższej marży", ale dokument wcale nie nazywał tej trójki w ten sposób - numery pozycji Copilot nadał sam po posortowaniu. Kwoty pochodziły z pliku, ranking już nie. Podobnie z liczbą rekordów: "115" potwierdził jako liczbę rekordów sprzedażowych, ale jej interpretację jako liczby unikalnych transakcji oznaczył jako niepotwierdzoną, bo arkusz nie ma identyfikatora transakcji. To właśnie te ciche dodatki od siebie są groźniejsze niż otwarte zmyślenie.

Dlaczego Copilot tak robi

Copilot łączy to, co odczytał z Twoich plików, z tym, jak zwykle formułuje się takie odpowiedzi. Kiedy pracuje na pliku wskazanym ukośnikiem, ma z czego cytować i pod odpowiedzią pokazuje odnośnik "Źródła". Kiedy jednak wklejasz materiał wprost do rozmowy albo pytasz ogólnie, nie ma czego odpytać i podaje treść bez odwołania do pliku. W naszych ośmiu próbach na własnych plikach, przy włączonym Work IQ, Copilot nie podstawił danych, których nie miał, a tam, gdzie brakowało podstaw, odmawiał. Ryzyko wymyślonego źródła rośnie więc nie samo z siebie, tylko wtedy, gdy odetniesz go od pliku. Brak odnośnika "Źródła" nie jest usterką - to sygnał, że odpowiedź pochodzi z ogólnej wiedzy modelu, a nie z Twoich danych.

Jak to rozwiazac krok po kroku

1. Wskaż plik ukośnikiem, zanim zadasz pytanie o jego treść. Bez tego Copilot nie ma czego cytować.
2. Po odpowiedzi poproś o źródła wprost: "Podaj źródła dla każdej informacji w powyższej odpowiedzi. Przy każdej liczbie i twierdzeniu napisz, z którego dokumentu, arkusza albo maila to pochodzi. Jeśli czegoś nie ma w dostępnych plikach, oznacz to wyraźnie jako informację niepotwierdzoną."
3. Przy cytatach każ pokazać oryginał: "Zacytuj dokładny fragment dokumentu, na którym opierasz to twierdzenie. Podaj oryginalne zdanie oraz nazwę pliku i sekcję, w której się znajduje."
4. Rozdziel fakty od interpretacji: "Które liczby w tej odpowiedzi pochodzą wprost z dokumentu, a które oszacowałeś albo wyliczyłeś samodzielnie? Rozpisz to w dwóch osobnych listach."
5. W aplikacjach, które pokazują przypisy do plików (na przykład Word czy Teams), klikaj w cytowane odwołania i sprawdzaj, czy podlinkowany dokument faktycznie mówi to, co Copilot streścił.
6. Zwróć szczególną uwagę na nazwy własne rankingów i etykiety typu "najważniejsze" albo "TOP" - to najczęstsze miejsce, gdzie model dokłada porządek, którego w dokumencie nie ma.

Jak sprawdzic, ze zadzialalo

Realne odwołanie poznasz po tym, że po prośbie o źródło Copilot rozpisuje przy każdej liczbie plik, arkusz i kolumny, z których ją wziął, i rozróżnia wartości zapisane w pliku od tych policzonych. Przy udziale procentowym pokazuje nawet wzór dzielenia. Gdy poprosisz o dokładny fragment, otrzymujesz oryginalne zdanie z nazwą pliku i sekcją, a nie kolejną parafrazę. Jeśli w odpowiedzi na prośbę o źródło Copilot nie potrafi wskazać, skąd wziął liczbę albo cytat, masz twarde potwierdzenie, że nie pochodzą one z Twoich plików. Brak możliwości wskazania źródła to sygnał ostrzegawczy, nie drobiazg.

Wroc do listy: 200 najczestszych problemow z Microsoft 365 Copilot