Copilot w Wordzie generuje treść niezgodną z faktami dokumentu

Microsoft Word

Copilot w Wordzie generuje treść niezgodną z faktami dokumentu

W skrócie

Prosisz Copilota o podsumowanie dokumentu albo o wyciagniecie z niego danych, a w odpowiedzi pojawia sie cos, czego w pliku nie ma: przekrecona kwota, pominieta pozycja albo wniosek niezgodny z tresci. Ten problem dotyczy kazdego, kto podejmuje decyzje na podstawie tego, co Copilot wyciagnie z dokumentu: analizujacych umowy, raporty, specyfikacje, oferty. Blad w takim streszczeniu potrafi przelozyc sie na zla decyzje.

Jak to wyglada w praktyce

Copilot streszcza umowę i przypisuje kwotę kary do niewlasciwego paragrafu. Albo prosisz o wypisanie wszystkich kwot, a jedna pozycja wypada z listy. Zdarza sie tez wniosek brzmiacy sensownie, ale niepokryty w tresci dokumentu. Podstepne jest to, ze odpowiedz wyglada wiarygodnie i uporzadkowanie, wiec latwo wziac ja za pewnik, zwlaszcza przy dlugim pliku, ktorego nie chce sie czytac od nowa.

Dlaczego Copilot tak robi

Copilot analizuje dokument semantycznie, czyli po sensie, a nie liniowo slowo po slowie. Dzieki temu odpowiada na pytania wynikajace z calosci, ale przy podsumowaniach i wyciaganiu danych potrafi pominac pozycje albo blednie przypisac kwotę do sekcji. Warto tez rozroznic dwie sytuacje. Gdy Copilot pracuje na wskazanym pliku jako zrodle, trzyma sie jego tresci: w osmiu probach opisanych w lekcji o ograniczeniach i pulapkach Copilota ani razu nie podstawil danych, ktorych nie mial, a przy braku podstaw pisal o tym wprost. Gorzej jest przy pisaniu od zera bez zrodla, bo wtedy uzupelnia luki wzorcami jezykowymi. Tak czy inaczej Copilot nie sprawdza faktow za Ciebie.

Jak to rozwiazac krok po kroku

1. Upewnij sie, ze Copilot pracuje na Twoim dokumencie jako zrodle, a nie pisze z niczego. Plik ma byc zapisany w OneDrive lub SharePoint, a pytania zadawaj w panelu bocznym do otwartej tresci.
2. Pytaj o konkret i pros o wskazanie zrodla w dokumencie, na przyklad: "Wypisz wszystkie kwoty w tym dokumencie z kontekstem, do ktorej sekcji naleza i jaki maja status". Odwolanie do sekcji ulatwia potem weryfikacje.
3. Przy wnioskach dodaj warunek "Odpowiadaj wylacznie na podstawie tresci tego dokumentu, a jesli czegos w nim nie ma, napisz o tym wprost". To ogranicza dopowiadanie.
4. Kluczowe wartosci, od ktorych zalezy decyzja, na przyklad budzet czy kary w umowie, zweryfikuj w oryginale. Odszukaj kazda liczbe w dokumencie i porownaj z odpowiedzia Copilota.
5. Traktuj wniosek Copilota jako punkt wyjscia do wlasnej oceny, nie jako wyrok. Przy pytaniu typu "czy z tego wynika, ze projekt jest zagrozony" sprawdz, na jakich zapisach oparl odpowiedz.
6. Jesli podsumowanie ma isc dalej, do zarzadu albo do klienta, przejrzyj je obok dokumentu i popraw kazda niezgodnosc, zanim je wyslesz.

Jak sprawdzic, ze zadzialalo

Odpowiedz jest zgodna z faktami, gdy kazda kwota, data i pozycja da sie odnalezc w dokumencie dokladnie w tym miejscu i brzmieniu, ktore wskazal Copilot. Zrob szybki test: pros o liste kwot z odwolaniem do sekcji i skonfrontuj ja z oryginalem pozycja po pozycji. Jesli wszystko sie zgadza i przy braku podstaw Copilot napisal wprost, ze czegos w dokumencie nie ma, mozesz zaufac odpowiedzi. Kazda rozbieznosc oznacza, ze trzeba poprawic tresc przed jej dalszym uzyciem, bo Copilot skraca czas przegladu, ale nie zwalnia z odpowiedzialnosci.

Wroc do listy: 200 najczestszych problemow z Microsoft 365 Copilot