Microsoft 365 Copilot
Jak przetestować agenta Copilot Studio przed publikacją
W skrócie
- Kusi, by od razu udostępnić agenta, ale jedna zmyślona odpowiedź na starcie potrafi podciąć zaufanie zespołu na miesiące.
- Zachowanie agenta zależy naraz od instrukcji i źródeł wiedzy, a te błędy naprawia się w innych miejscach, więc bez testu nie odróżnisz przyczyn.
- W karcie Wersja zapoznawcza przejdź cztery próby: fakt ze źródła, pytanie graniczne, sprawdzalna liczba i pytanie podchwytliwe, w którym agent ma odmówić.
Zbudowałeś agenta w Copilot Studio i kusi, żeby od razu udostępnić go zespołowi. Nie rób tego przed testem - jedna zmyślona odpowiedź na starcie potrafi podciąć zaufanie do agenta na miesiące. Ten materiał jest dla osób, które chcą sprawdzić agenta rzetelnie, a nie zadać mu dwóch pytań na chybił trafił i uznać, że działa.
Jak to wygląda w praktyce
Słaby test wygląda tak: autor pyta agenta o dwie rzeczy, które sam zna, dostaje ładne odpowiedzi i publikuje. Problem w tym, że sprawdził tylko to, co i tak działa, a nie sprawdził, jak agent zachowa się przy luce w wiedzy albo przy pytaniu podchwytliwym. Efekt widać dopiero u pierwszego pracownika: agent zmyśla liczbę, której nie ma w dokumentach, albo odpowiada gładko, ale bez wskazania źródła, więc nie wiadomo, czy mówi z plików, czy z wiedzy ogólnej. Typowy przykład: agent kadr pytany o benefit, którego firma nie oferuje, zamiast odmówić - wymyśla szczegóły.
Zobacz też: Szkolenie Agenci Microsoft Copilot i Copilot Studio
Dlaczego Copilot tak robi
Podgląd rozmowy siedzi na osobnej karcie "Wersja zapoznawcza" u góry edytora i to jest Twoje laboratorium: rozmawiasz z agentem dokładnie tak, jak zrobi to potem pracownik, ale nikt inny tego nie widzi. Testowanie to nie kilka pytań na oko, tylko cztery próby, przez które przechodzisz po kolei i przy każdej wiesz, czego szukasz. Powód jest prosty: zachowanie agenta zależą od dwóch rzeczy naraz - instrukcji i źródeł wiedzy - i te błędy naprawia się w innych miejscach. Gdy agent odpowiada nie tak, jak chcesz (ton, brak odsyłaczy), poprawiasz instrukcje. Gdy odpowiada nieprawdę albo nie wie, poprawiasz źródła. Bez ustrukturyzowanego testu nie odróżnisz jednej przyczyny od drugiej.
Jak to rozwiązać krok po kroku
- Próba 1. Zadaj pytanie, na które odpowiedź na pewno jest w dokumentach. Sprawdzasz, czy podłączenie wiedzy w ogóle zadziałało. Czego szukasz: odsyłacza do dokumentu przy odpowiedzi.
- Próba 2. Zadaj pytanie graniczne, gdzie część informacji jest, a części nie ma. Czego szukasz: rozdzielenia tego, co agent wie, od tego, czego nie wie, zamiast gładkiego akapitu, w którym nie sposób tego odróżnić.
- Próba 3. Zadaj pytanie o liczbę, którą możesz sprawdzić. Czego szukasz: zgodności co do cyfry z otwartym obok dokumentem. To jedyna próba z twardym wynikiem.
- Próba 4. Zadaj pytanie podchwytliwe, o rzecz, której w dokumentach nie ma wcale. Czego szukasz: odmowy. Agent ma powiedzieć, że tego nie ma, i skierować do właściwego działu.
- Rozdziel przyczyny bledow: zle brzmienie odpowiedzi poprawiasz w instrukcjach, nieprawde albo brak wiedzy - w zrodlach. Dopisywanie zdan do instrukcji nie naprawi agenta z podpietymi zlymi dokumentami.
- Powtórz cztery próby po każdej zmianie instrukcji albo źródeł, a gdy agent odpowiada poprawnie, zapisz wersję roboczą i dopiero potem publikuj.
Jak sprawdzić, że zadziałało
Test zdany to komplet: agent podaje konkret z odsyłaczem do źródła (próba 1), rozdziela wiedzę od niewiedzy (próba 2), trafia co do cyfry (próba 3) i odmawia przy pytaniu spoza zakresu (próba 4). Przy próbie 4 pamiętaj, że odmowa jest dobrą odpowiedzią - gdyby agent podał tam konkretne liczby, znaczyłoby to, że je wymyślił. Jeśli agent myli liczby w próbie 3, prawie zawsze winne jest źródło: albo podpiąłeś bibliotekę z archiwum, albo leżą w niej dwie wersje tego samego dokumentu. Cztery próby zajmują kilka minut, a wyłapują dokładnie te usterki, które inaczej zobaczy dopiero pierwszy użytkownik.
Wróć do listy: 213 najczęstszych pytań i problemów związanych z Microsoft 365 Copilot
Szkolenie Copilot w Microsoft 365 to dwa dni praktycznych warsztatów z trenerem praktykiem. Uczysz się Microsoft 365 Copilota w każdej aplikacji, w Word, Excel, Outlook, Teams, PowerPoint i OneNote, na realnych przykładach z codziennej pracy: maile, dokumenty, arkusze, prezentacje i spotkania. Wychodzisz z gotową biblioteką promptów dla swojego zespołu. Szkolenie ma terminy gwarantowane, więc odbędzie się niezależnie od liczby zapisanych.
Najczęściej zadawane pytania
Dlaczego zadanie agentowi dwóch znanych mi pytań to za słaby test przed publikacją?
Słaby test sprawdza tylko to, co i tak działa, a nie pokazuje, jak agent zachowa się przy luce w wiedzy albo pytaniu podchwytliwym. Efekt widać dopiero u pierwszego pracownika: agent zmyśla liczbę albo odpowiada gładko bez źródła, a jedna zmyślona odpowiedź podcina zaufanie na miesiące.
Czemu bez ustrukturyzowanego testu nie wiadomo, czy błąd agenta poprawić w instrukcjach czy w źródłach?
Zachowanie agenta zależy od dwóch rzeczy naraz, instrukcji i źródeł wiedzy, a te błędy naprawia się w innych miejscach. Złe brzmienie odpowiedzi poprawiasz w instrukcjach, a nieprawdę albo brak wiedzy w źródłach, więc bez testu nie odróżnisz jednej przyczyny od drugiej.
Jak rzetelnie przetestować agenta Copilot Studio przed udostępnieniem go zespołowi?
W karcie Wersja zapoznawcza przejdź cztery próby: pytanie z odpowiedzią na pewno w dokumentach, pytanie graniczne, pytanie o sprawdzalną liczbę i pytanie podchwytliwe o rzecz spoza zakresu. Przy każdej wiesz, czego szukasz, a cały zestaw powtarzasz po każdej zmianie instrukcji lub źródeł.
Po czym poznam, że agent zdał test i można go publikować?
Test zdany to komplet: agent podaje konkret z odsyłaczem do źródła, rozdziela wiedzę od niewiedzy, trafia co do cyfry i odmawia przy pytaniu spoza zakresu. Odmowa przy pytaniu podchwytliwym jest dobrą odpowiedzią, bo podanie tam konkretnych liczb znaczyłoby, że agent je wymyślił.
Komentarze (0)
Brak komentarzy...