Copilot zmyśla i podaje nieprawdziwe informacje - jak to rozpoznać

Microsoft 365 Copilot

Copilot zmyśla i podaje nieprawdziwe informacje - jak to rozpoznać

W skrócie

"Copilot zmyśla" to najczęstsza obawa, z jaką spotykamy się na szkoleniach z Microsoft 365 Copilot. Dotyczy każdego, kto wkleja odpowiedź wprost do raportu, oferty albo maila do klienta i zastanawia się, czy liczba, cytat i data na pewno są prawdziwe. Poniżej pokazujemy, jak naprawdę zachowuje się Copilot, gdy nie ma danych, i po czym poznać odpowiedź, której nie warto ufać.

Jak to wyglada w praktyce

Wyobraź sobie, że prosisz o streszczenie protokołu odbioru, którego w Twoich plikach nie ma, i od razu każesz podać, kto go podpisał i z jaką datą. Boisz się, że Copilot wymyśli nazwisko i datę tym samym pewnym tonem co przy poprawnej odpowiedzi. To realna cecha modeli językowych: potrafią podać informację, która brzmi wiarygodnie, a jest nieprawdziwa - zmyśloną liczbę, nieistniejący cytat, błędnie przypisany fakt. Sprawdziliśmy jednak, jak wygląda to u Copilota. Zadaliśmy osiem pytań o nasze własne pliki, przy włączonym przełączniku Work IQ, i za każdym razem, gdy brakowało podstaw, Copilot odmawiał i nazywał powód odmowy. Ani razu nie podstawił danych, których nie miał. Uwaga przenosi się więc z pytania "czy zmyślił" na pytanie "do czego w ogóle miał dostęp".

Dlaczego Copilot tak robi

Copilot w aplikacjach Microsoft 365 pracuje na Twoich plikach w tenancie, czyli w środowisku Microsoft 365 Twojej firmy: maile, dokumenty w OneDrive i SharePoint, spotkania w Teams. Gdy pytasz o coś, czego w tym zasięgu nie ma, w trybie opartym na danych firmy z włączonym Work IQ wolał odmówić, niż podstawić coś podobnego. To jest klucz: ryzyko zmyślania rośnie nie samo z siebie, tylko wtedy, gdy odetniesz Copilota od źródła. Odpowiedź bez odnośnika "Źródła" pod spodem to nie odpowiedź z Twoich plików, tylko wypowiedź z ogólnej wiedzy modelu - a ta faktycznie może być nietrafna. Zastrzeżenie, które trzeba zrozumieć: nasz wynik pochodzi z konkretnego środowiska (konto firmowe z licencją, Work IQ włączony, pliki wskazane ukośnikiem). Nie znaczy, że model nie potrafi się mylić. Znaczy, że w tym trybie zamiast zmyślać, odmawia.

Jak to rozwiazac krok po kroku

1. Zawsze wskazuj Copilotowi konkretny plik ukośnikiem, zamiast liczyć na jego wiedzę ogólną. Wtedy odpowiada z Twoich danych, a nie z pamięci modelu.
2. Nie wklejaj danych wprost do okna rozmowy, jeśli chcesz je potem zweryfikować kliknięciem. Odpowiedź policzona na wklejonym tekście nie ma odnośnika do źródła.
3. Po odpowiedzi z liczbami lub twierdzeniami dopytaj o źródło każdej z nich: z którego dokumentu, arkusza albo maila pochodzi.
4. Naucz się rozpoznawać wzorzec odmowy "nie mam podstaw": Copilot nazywa dokument, którego szukał, mówi, że go nie znalazł, wylicza, czego nie może podać, i proponuje, co zrobić zamiast tego.
5. Kluczowe liczby przelicz w tabeli Excela, gdzie Copilot generuje formułę liczącą naprawdę, a nie pojedynczą wartość w rozmowie.
6. Nic nie wysyłaj bez przeczytania. Mail, raport czy podsumowanie to zawsze wersja robocza do sprawdzenia, nie gotowy produkt.

Jak sprawdzic, ze zadzialalo

Odpowiedź, której możesz zaufać, ma trzy cechy naraz: konkretne liczby, opis drogi, czyli jak Copilot je policzył, oraz odnośnik "Źródła" pod spodem, w który da się kliknąć. Odpowiedź bez pokrycia wygląda odwrotnie - jest krótsza, bez liczb, bez odwołania do pliku, za to z listą tego, czego nie da się wiarygodnie podać. Jeśli Copilot nie potrafi wskazać źródła liczby, potraktuj to jak najsilniejszy sygnał, że nie wzięła się ona z Twoich plików. W naszym pomiarze wartości liczone na pliku wskazanym ukośnikiem zgadzały się z arkuszem co do grosza, więc sedno nie leży w samej liczbie, a w tym, czy ma wskazane źródło.

Wroc do listy: 200 najczestszych problemow z Microsoft 365 Copilot