Jak przetestować agenta Copilot Studio przed publikacją

Microsoft 365 Copilot

Jak przetestować agenta Copilot Studio przed publikacją

W skrócie

Zbudowales agenta w Copilot Studio i kusi, zeby od razu udostepnic go zespolowi. Nie rob tego przed testem - jedna zmyslona odpowiedz na starcie potrafi podciac zaufanie do agenta na miesiace. Ten material jest dla osob, ktore chca sprawdzic agenta rzetelnie, a nie zadac mu dwoch pytan na chybil trafil i uznac, ze dziala.

Jak to wyglada w praktyce

Slaby test wyglada tak: autor pyta agenta o dwie rzeczy, ktore sam zna, dostaje ladne odpowiedzi i publikuje. Problem w tym, ze sprawdzil tylko to, co i tak dziala, a nie sprawdzil, jak agent zachowa sie przy luce w wiedzy albo przy pytaniu podchwytliwym. Efekt widac dopiero u pierwszego pracownika: agent zmysla liczbe, ktorej nie ma w dokumentach, albo odpowiada gladko, ale bez wskazania zrodla, wiec nie wiadomo, czy mowi z plikow, czy z wiedzy ogolnej. Typowy przyklad: agent kadr pytany o benefit, ktorego firma nie oferuje, zamiast odmowic - wymysla szczegoly.

Dlaczego Copilot tak robi

Podglad rozmowy siedzi na osobnej karcie "Wersja zapoznawcza" u gory edytora i to jest Twoje laboratorium: rozmawiasz z agentem dokladnie tak, jak zrobi to potem pracownik, ale nikt inny tego nie widzi. Testowanie to nie kilka pytan na oko, tylko cztery proby, przez ktore przechodzisz po kolei i przy kazdej wiesz, czego szukasz. Powod jest prosty: zachowanie agenta zaleza od dwoch rzeczy naraz - instrukcji i zrodel wiedzy - i te bledy naprawia sie w innych miejscach. Gdy agent odpowiada nie tak, jak chcesz (ton, brak odsylaczy), poprawiasz instrukcje. Gdy odpowiada nieprawde albo nie wie, poprawiasz zrodla. Bez ustrukturyzowanego testu nie odroznisz jednej przyczyny od drugiej.

Jak to rozwiazac krok po kroku

1. Proba 1. Zadaj pytanie, na ktore odpowiedz na pewno jest w dokumentach. Sprawdzasz, czy podlaczenie wiedzy w ogole zadzialalo. Czego szukasz: odsylacza do dokumentu przy odpowiedzi.
2. Proba 2. Zadaj pytanie graniczne, gdzie czesc informacji jest, a czesci nie ma. Czego szukasz: rozdzielenia tego, co agent wie, od tego, czego nie wie, zamiast gladkiego akapitu, w ktorym nie sposob tego odroznic.
3. Proba 3. Zadaj pytanie o liczbe, ktora mozesz sprawdzic. Czego szukasz: zgodnosci co do cyfry z otwartym obok dokumentem. To jedyna proba z twardym wynikiem.
4. Proba 4. Zadaj pytanie podchwytliwe, o rzecz, ktorej w dokumentach nie ma wcale. Czego szukasz: odmowy. Agent ma powiedziec, ze tego nie ma, i skierowac do wlasciwego dzialu.
5. Rozdziel przyczyny bledow: zle brzmienie odpowiedzi poprawiasz w instrukcjach, nieprawde albo brak wiedzy - w zrodlach. Dopisywanie zdan do instrukcji nie naprawi agenta z podpietymi zlymi dokumentami.
6. Powtorz cztery proby po kazdej zmianie instrukcji albo zrodel, a gdy agent odpowiada poprawnie, zapisz wersje robocza i dopiero potem publikuj.

Jak sprawdzic, ze zadzialalo

Test zdany to komplet: agent podaje konkret z odsylaczem do zrodla (proba 1), rozdziela wiedze od niewiedzy (proba 2), trafia co do cyfry (proba 3) i odmawia przy pytaniu spoza zakresu (proba 4). Przy probie 4 pamietaj, ze odmowa jest dobra odpowiedzia - gdyby agent podal tam konkretne liczby, znaczyloby to, ze je wymyslil. Jesli agent myli liczby w probie 3, prawie zawsze winne jest zrodlo: albo podpiales biblioteke z archiwum, albo leza w niej dwie wersje tego samego dokumentu. Cztery proby zajmuja kilka minut, a wylapuja dokladnie te usterki, ktore inaczej zobaczy dopiero pierwszy uzytkownik.

Wroc do listy: 200 najczestszych problemow z Microsoft 365 Copilot