Agent w Copilot Studio halucynuje i eskaluje do IT - jak temu zapobiec

Microsoft 365 Copilot

Agent w Copilot Studio halucynuje i eskaluje do IT - jak temu zapobiec

W skrócie

Twoj agent w Copilot Studio wymysla zapisy, ktorych nie ma w dokumentach, albo przy kazdym trudniejszym pytaniu odsyla ludzi do IT lub do kadr. Jedno i drugie podkopuje zaufanie do narzedzia. Ten material jest dla osob, ktore zbudowaly firmowego agenta i chca, zeby odpowiadal konkretem z dokumentow, a odmawial tylko wtedy, gdy naprawde nie ma danych.

Jak to wyglada w praktyce

Sa dwa przeciwne objawy tego samego problemu. Pierwszy: agent halucynuje, czyli na pytanie o rzecz, ktorej w dokumentach nie ma, wymysla gladko brzmiace szczegoly - liczbe dni, prog kwotowy, procedure - ktorych nikt nie zapisal. Drugi: agent nadgorliwie eskaluje, czyli nawet na pytanie o rzecz stojaca w regulaminie czarno na bialym odpowiada "nie znalazlem, skieruj sprawe do dzialu". Typowy przyklad: agent kadr pytany "ile dni urlopu na zadanie" albo podaje wymyslona liczbe, albo trzy razy przeszukuje wiedze i odsyla do kadr, choc odpowiedz jest w podpietym pliku.

Dlaczego Copilot tak robi

Zachowanie agenta zaleza od dwoch rzeczy: instrukcji i zrodel wiedzy, i naprawia sie je w innych miejscach. Halucynacja bierze sie stad, ze agent ma za szeroki zakres albo miekkie instrukcje - ogolne "badz pomocny" nie chroni przed wymyslaniem. Nadgorliwa eskalacja i odpowiedzi bez konkretu biora sie stad, ze agent nie ma podpietej wiedzy albo podpieta biblioteka nie zawiera aktualnych dokumentow; agent w takim stanie nie jest zepsuty, tylko pusty, i tak wyglada kazdy, ktoremu zapomniano dodac zrodel. Kluczowa zasada: gdy agent odpowiada nie tak, jak chcesz (ton, brak odsylaczy, za czeste odsylanie), poprawiasz instrukcje; gdy odpowiada nieprawde albo nie wie - poprawiasz zrodla. Dopisywanie zdan do instrukcji nie naprawi agenta, ktoremu podpiales nie te dokumenty.

Jak to rozwiazac krok po kroku

1. Zawez zakres. Agent od jednego waskiego, powtarzalnego tematu myli sie duzo rzadziej niz jeden agent "do wszystkiego". Jesli laczysz dwie role, rozbij je na dwoch agentow.
2. Napisz twarde instrukcje: agent odpowiada wylacznie na podstawie podpietych dokumentow, nie zgaduje, przy kazdej odpowiedzi wskazuje dokument zrodlowy, a przy braku danych mowi wprost, ze ich nie ma, i kieruje do wlasciwej osoby.
3. Sprawdz zrodla wiedzy. Podepnij tylko biblioteke z aktualnymi dokumentami, a nie cala witryne z archiwum. Nieaktualne zrodlo to najczestszy i najtrudniejszy do wykrycia powod zlych odpowiedzi.
4. Daj chwile na indeksowanie. Tuz po podpieciu witryny agent moze twierdzic, ze nie ma danych - odczekaj kilka minut i sprobuj ponownie.
5. Jesli agent za czesto odsyla do dzialu mimo dostepnych danych, sprawdz, czy ma podpiete wlasciwe zrodlo i czy Ty masz do niego dostep w SharePoint (agent respektuje uprawnienia).
6. Przetestuj cztery proby w karcie "Wersja zapoznawcza" i powtarzaj je po kazdej zmianie instrukcji albo zrodel.

Jak sprawdzic, ze zadzialalo

Najlepszy sprawdzian to test pytania podchwytliwego: pytasz o cos, czego celowo nie ma w dokumentach (na przyklad o benefit z innej firmy). Dobrze skonfigurowany agent odmawia i kieruje do dzialu - odmowa jest tu dobra odpowiedzia, bo gdyby podal konkretne liczby, znaczyloby to, ze je wymyslil. Rownolegle zadaj pytanie o rzecz, ktora na pewno jest w dokumencie: agent ma odpowiedziec konkretem i pokazac odsylacz do zrodla. Jesli oba testy przechodza - agent ani nie halucynuje, ani nie eskaluje bez potrzeby.

Wroc do listy: 200 najczestszych problemow z Microsoft 365 Copilot