Copilot w Wordzie generuje treść niezgodną z faktami dokumentu

Ten temat omawiamy w lekcji bezpłatnego kursu Copilot w Microsoft 365Copilot w Word - tworzenie i redakcja dokumentów w ułamku czasu

Microsoft Word

W skrócie

Problem: w podsumowaniu pojawia się kwota przypisana do złej sekcji, pominięta pozycja albo wniosek niepokryty w treści dokumentu.
Dlaczego: Copilot analizuje dokument po sensie, nie linijka po linijce, więc przy wyciąganiu danych potrafi pominąć pozycję lub źle przypisać liczbę.
Rozwiązanie: pracuj na pliku jako źródle, proś o kwoty z odwołaniem do sekcji i warunek „odpowiadaj tylko z treści”, a kluczowe wartości sprawdź w oryginale.

Prosisz Copilota o podsumowanie dokumentu albo o wyciągnięcie z niego danych, a w odpowiedzi pojawia się coś, czego w pliku nie ma: przekręcona kwota, pominięta pozycja albo wniosek niezgodny z treści. Ten problem dotyczy każdego, kto podejmuje decyzje na podstawie tego, co Copilot wyciągnie z dokumentu: analizujących umowy, raporty, specyfikacje, oferty. Błąd w takim streszczeniu potrafi przełożyć się na złą decyzję.

Jak to wygląda w praktyce

Copilot streszcza umowę i przypisuje kwotę kary do niewłaściwego paragrafu. Albo prosisz o wypisanie wszystkich kwot, a jedna pozycja wypada z listy. Zdarza się też wniosek brzmiący sensownie, ale niepokryty w treści dokumentu. Podstępne jest to, że odpowiedź wygląda wiarygodnie i uporządkowanie, więc łatwo wziąć ją za pewnik, zwłaszcza przy długim pliku, którego nie chce się czytać od nowa.

Zobacz też: Szkolenie Copilot w Microsoft 365 - zwiększ efektywność dzięki AI

Dlaczego Copilot tak robi

Copilot analizuje dokument semantycznie, czyli po sensie, a nie liniowo słowo po słowie. Dzięki temu odpowiada na pytania wynikające z całości, ale przy podsumowaniach i wyciąganiu danych potrafi pominąć pozycję albo błędnie przypisać kwotę do sekcji. Warto też rozróżnić dwie sytuacje. Gdy Copilot pracuje na wskazanym pliku jako źródle, trzyma się jego treści: w ośmiu próbach opisanych w lekcji o ograniczeniach i pułapkach Copilota ani razu nie podstawił danych, których nie miał, a przy braku podstaw pisał o tym wprost. Gorzej jest przy pisaniu od zera bez źródła, bo wtedy uzupełnia luki wzorcami językowymi. Tak czy inaczej Copilot nie sprawdza faktów za Ciebie.

Lekcja w bezpłatnym kursie Copilot w Microsoft 365Ograniczenia i pułapki

Jak to rozwiązać krok po kroku

Upewnij się, że Copilot pracuje na Twoim dokumencie jako źródle, a nie pisze z niczego. Plik ma być zapisany w OneDrive lub SharePoint, a pytania zadawaj w panelu bocznym do otwartej treści.
Pytaj o konkret i proś o wskazanie źródła w dokumencie, na przykład: "Wypisz wszystkie kwoty w tym dokumencie z kontekstem, do której sekcji należą i jaki mają status". Odwołanie do sekcji ułatwia potem weryfikację.
Przy wnioskach dodaj warunek "Odpowiadaj wyłącznie na podstawie treści tego dokumentu, a jeśli czegoś w nim nie ma, napisz o tym wprost". To ogranicza dopowiadanie.
Kluczowe wartości, od których zależy decyzja, na przykład budżet czy kary w umowie, zweryfikuj w oryginale. Odszukaj każdą liczbę w dokumencie i porównaj z odpowiedzią Copilota.
Traktuj wniosek Copilota jako punkt wyjścia do własnej oceny, nie jako wyrok. Przy pytaniu typu "czy z tego wynika, że projekt jest zagrożony" sprawdź, na jakich zapisach oparł odpowiedź.
Jeśli podsumowanie ma iść dalej, do zarządu albo do klienta, przejrzyj je obok dokumentu i popraw każdą niezgodność, zanim je wyślesz.

Jak sprawdzić, że zadziałało

Odpowiedź jest zgodna z faktami, gdy każda kwota, data i pozycja da się odnaleźć w dokumencie dokładnie w tym miejscu i brzmieniu, które wskazał Copilot. Zrób szybki test: proś o listę kwot z odwołaniem do sekcji i skonfrontuj ją z oryginałem pozycja po pozycji. Jeśli wszystko się zgadza i przy braku podstaw Copilot napisał wprost, że czegoś w dokumencie nie ma, możesz zaufać odpowiedzi. Każda rozbieżność oznacza, że trzeba poprawić treść przed jej dalszym użyciem, bo Copilot skraca czas przeglądu, ale nie zwalnia z odpowiedzialności.

Poczytaj więcej w kursie Copilot w Microsoft 365
Copilot w Word - tworzenie i redakcja dokumentów w ułamku czasu
Cały bezpłatny kurs Copilot w Microsoft 365

Wróć do listy: 213 najczęstszych pytań i problemów związanych z Microsoft 365 Copilot

Szkolenie Copilot w Microsoft 365 to dwa dni praktycznych warsztatów z trenerem praktykiem. Uczysz się Microsoft 365 Copilota w każdej aplikacji, w Word, Excel, Outlook, Teams, PowerPoint i OneNote, na realnych przykładach z codziennej pracy: maile, dokumenty, arkusze, prezentacje i spotkania. Wychodzisz z gotową biblioteką promptów dla swojego zespołu. Szkolenie ma terminy gwarantowane, więc odbędzie się niezależnie od liczby zapisanych.

Autorzy

Tekst: Redakcja JSystems

Najczęściej zadawane pytania

Dlaczego Copilot w podsumowaniu podaje dane niezgodne z treścią dokumentu?

Copilot analizuje dokument semantycznie, po sensie, a nie liniowo słowo po słowie. Przy podsumowaniach i wyciąganiu danych potrafi wtedy pominąć pozycję albo błędnie przypisać kwotę do niewłaściwej sekcji.

Kiedy Copilot najczęściej dopowiada rzeczy, których nie ma w dokumencie?

Gorzej jest przy pisaniu od zera bez źródła, bo wtedy uzupełnia luki wzorcami językowymi. Gdy pracuje na wskazanym pliku, trzyma się jego treści, a przy braku podstaw zwykle pisze o tym wprost.

Jak ograniczyć zmyślanie i zmusić Copilota do trzymania się treści pliku?

Upewnij się, że pracuje na Twoim dokumencie z OneDrive jako źródle, i pytaj o konkret z odwołaniem do sekcji. Dodaj warunek Odpowiadaj wyłącznie na podstawie treści tego dokumentu, a braku danych nie uzupełniaj.

Jak zweryfikować, że podsumowanie Copilota jest zgodne z faktami?

Poproś o listę kwot z odwołaniem do sekcji i skonfrontuj ją z oryginałem pozycja po pozycji. Każda kwota i data musi dać się odnaleźć dokładnie tam, gdzie wskazał Copilot, bo za treść odpowiadasz Ty.