Agent w Copilot Studio halucynuje i eskaluje do IT - jak temu zapobiec

Microsoft 365 Copilot

Agent w Copilot Studio halucynuje i eskaluje do IT - jak temu zapobiec

W skrócie

Twój agent w Copilot Studio wymyśla zapisy, których nie ma w dokumentach, albo przy każdym trudniejszym pytaniu odsyła ludzi do IT lub do kadr. Jedno i drugie podkopuje zaufanie do narzędzia. Ten materiał jest dla osób, które zbudowały firmowego agenta i chcą, żeby odpowiadał konkretem z dokumentów, a odmawiał tylko wtedy, gdy naprawdę nie ma danych.

Jak to wygląda w praktyce

Są dwa przeciwne objawy tego samego problemu. Pierwszy: agent halucynuje, czyli na pytanie o rzecz, której w dokumentach nie ma, wymyśla gładko brzmiące szczegóły - liczbę dni, próg kwotowy, procedurę - których nikt nie zapisał. Drugi: agent nadgorliwie eskaluje, czyli nawet na pytanie o rzecz stojącą w regulaminie czarno na białym odpowiada "nie znalazłem, skieruj sprawę do działu". Typowy przykład: agent kadr pytany "ile dni urlopu na żądanie" albo podaje wymyśloną liczbę, albo trzy razy przeszukuje wiedzę i odsyła do kadr, choć odpowiedź jest w podpiętym pliku.

Zobacz też: Szkolenie Agenci Microsoft Copilot i Copilot Studio

Dlaczego Copilot tak robi

Zachowanie agenta zależą od dwóch rzeczy: instrukcji i źródeł wiedzy, i naprawia się je w innych miejscach. Halucynacja bierze się stąd, że agent ma za szeroki zakres albo miękkie instrukcje - ogólne "bądź pomocny" nie chroni przed wymyślaniem. Nadgorliwa eskalacja i odpowiedzi bez konkretu biorą się stąd, że agent nie ma podpiętej wiedzy albo podpięta biblioteka nie zawiera aktualnych dokumentów; agent w takim stanie nie jest zepsuty, tylko pusty, i tak wygląda każdy, któremu zapomniano dodać źródeł. Kluczowa zasada: gdy agent odpowiada nie tak, jak chcesz (ton, brak odsyłaczy, za częste odsyłanie), poprawiasz instrukcje; gdy odpowiada nieprawdę albo nie wie - poprawiasz źródła. Dopisywanie zdań do instrukcji nie naprawi agenta, któremu podpiąłeś nie te dokumenty.

Jak to rozwiązać krok po kroku

1. Zawęź zakres. Agent od jednego wąskiego, powtarzalnego tematu myli się dużo rzadziej niż jeden agent "do wszystkiego". Jeśli łączysz dwie role, rozbij je na dwóch agentów.
2. Napisz twarde instrukcje: agent odpowiada wyłącznie na podstawie podpiętych dokumentów, nie zgaduje, przy każdej odpowiedzi wskazuje dokument źródłowy, a przy braku danych mówi wprost, że ich nie ma, i kieruje do właściwej osoby.
3. Sprawdź źródła wiedzy. Podepnij tylko bibliotekę z aktualnymi dokumentami, a nie całą witrynę z archiwum. Nieaktualne źródło to najczęstszy i najtrudniejszy do wykrycia powód złych odpowiedzi.
4. Daj chwilę na indeksowanie. Tuż po podpięciu witryny agent może twierdzić, że nie ma danych - odczekaj kilka minut i spróbuj ponownie.
5. Jeśli agent za często odsyła do działu mimo dostępnych danych, sprawdź, czy ma podpięte właściwe źródło i czy Ty masz do niego dostęp w SharePoint (agent respektuje uprawnienia).
6. Przetestuj cztery próby w karcie "Wersja zapoznawcza" i powtarzaj je po każdej zmianie instrukcji albo źródeł.

Jak sprawdzić, że zadziałało

Najlepszy sprawdzian to test pytania podchwytliwego: pytasz o coś, czego celowo nie ma w dokumentach (na przykład o benefit z innej firmy). Dobrze skonfigurowany agent odmawia i kieruje do działu - odmowa jest tu dobrą odpowiedzią, bo gdyby podał konkretne liczby, znaczyłoby to, że je wymyślił. Równolegle zadaj pytanie o rzecz, która na pewno jest w dokumencie: agent ma odpowiedzieć konkretem i pokazać odsyłacz do źródła. Jeśli oba testy przechodzą - agent ani nie halucynuje, ani nie eskaluje bez potrzeby.

Wróć do listy: 213 najczęstszych pytań i problemów związanych z Microsoft 365 Copilot