W skrócieOgraniczenia Microsoft 365 Copilot to granice jego dostępu do danych i jakości Twojego polecenia, a nie skłonność do zmyślania. W ośmiu próbach na naszych własnych plikach, przy włączonym Work IQ, Copilot nie wymyślił ani jednej liczby: tam, gdzie brakowało podstaw, odmawiał i nazywał powód. Warto umieć rozpoznać taką odmowę i zweryfikować podaną liczbę.
Ta lekcja jest częścią bezpłatnego kursu Microsoft 365 Copilot - dwudziestu lekcji od pierwszego uruchomienia do wdrożenia w całej firmie.
<-- Spis wszystkich lekcjiZ tej lekcji dowiesz się:
- Czego Copilot naprawdę nie potrafi i gdzie leżą jego realne granice
- Co Copilot robi, gdy nie ma danych: osiem prób na liczbach, których wynik znamy wcześniej
- Do jakich danych Copilot nie ma dostępu i dlaczego akurat to Cię chroni
- Krok po kroku: jak zweryfikować liczbę, cytat i podsumowanie, zanim wyjdzie z Twoich rąk
- Gotowe prompty do skopiowania: proś o źródła i o rozdzielenie faktów od oszacowań
- Gdzie naprawdę leży różnica między czatem a Excelem i dlaczego nie chodzi w niej o dokładność liczby
- Najczęstsze pułapki użytkownika: ślepe kopiowanie, dane wrażliwe, nadmierne zaufanie
- Dobre praktyki bezpiecznego, świadomego korzystania z Copilota w firmie
Do tej pory w kursie pokazywaliśmy, co Copilot potrafi. Ta lekcja jest inna. Powiemy Ci wprost, czego Copilot nie robi dobrze, gdzie się myli i jak nie dać się na tym złapać. To nie jest krytyka narzędzia, tylko warunek korzystania z niego jak profesjonalista. Osoba, która zna granice Copilota, wyciąga z niego znacznie więcej i nie wpada w kosztowne pomyłki, niż ta, która ślepo ufa każdej odpowiedzi.
Traktuj Copilota jak bardzo zdolnego, szybkiego współpracownika, który widzi dokładnie tyle, ile Ty masz w plikach, i nigdy nie zna wszystkiego. Twoja rola to nie klepanie promptów, tylko świadome prowadzenie tej współpracy i kontrola tego, co z niej wychodzi. Pokażemy Ci to na konkretnych przykładach: najpierw pytanie bez pokrycia w danych, potem odpowiedź, jakiej Copilot realnie udzielił, a na końcu sposób sprawdzenia liczby, którą jednak podał. Chcemy, żebyś po tej lekcji potrafił rozpoznać odpowiedź bez pokrycia i odruchowo ją zatrzymać. Część tych wpadek bierze się wprost ze sposobu pisania polecenia, dlatego warto przejść też przez techniki prompt engineeringu.
Ta wiedza jest też tym, co odróżnia dobrze przeszkolony zespół od takiego, który po prostu dostał licencję. Narzędzie działa u każdego tak samo. Różnicę robi to, czy ludzie wiedzą, kiedy nacisnąć hamulec.
Czego Copilot NIE potrafi (pięć ograniczeń)
Zacznijmy od uczciwej listy ograniczeń. Żadne z nich nie oznacza, że narzędzie jest słabe. Każde oznacza, że w danym miejscu musisz włączyć własną głowę. Przejdziemy przez pięć najważniejszych, a w kolejnych rozdziałach pokażemy je w działaniu.
1. Halucynacje, czyli wymyślanie faktów i liczb. Od tego ryzyka zaczyna się każda rozmowa o modelach językowych. Model potrafi podać informację, która brzmi w pełni wiarygodnie, a jest nieprawdziwa: zmyśloną liczbę, nieistniejący cytat, błędnie przypisany fakt. Zrobi to tym samym pewnym tonem co przy odpowiedzi poprawnej. Sprawdziliśmy na ośmiu pytaniach o nasze własne pliki, jak to wygląda u Copilota, a wynik opisujemy w rozdziale o tym, co Copilot robi, gdy nie ma danych. Przy włączonym Work IQ i pytaniach o firmowe dane nie zdarzyło się to ani razu: tam, gdzie brakowało podstaw, Copilot odmawiał i nazywał powód odmowy. Zapamiętaj więc nie samo ryzyko, a to, jak wygląda taka odmowa, bo właśnie ją będziesz rozpoznawać na co dzień.
2. Brak dostępu do danych spoza Twoich uprawnień. Copilot w aplikacjach M365 widzi tylko to, do czego Ty masz dostęp w swoim tenancie, czyli w środowisku Microsoft 365 Twojej firmy: Twoje maile, pliki w OneDrive i SharePoint, spotkania w Teams. Nie zajrzy do dokumentów kolegi, do których nie masz uprawnień, ani do systemów spoza M365, o ile nie podłączono ich osobno. Jeśli o coś pytasz, a tego nie ma w zasięgu, Copilot to napisze - w naszych próbach z włączonym Work IQ za każdym razem wolał odmówić, niż podstawić coś podobnego.
3. Słabość w bardzo precyzyjnych obliczeniach bez tabeli. Copilot w oknie czatu nie jest arkuszem. Ta granica jest jednak węższa, niż się powtarza: gdy wskażesz plik ukośnikiem, wartości potrafią być zgodne z arkuszem co do grosza i pokazujemy to na trzech pytaniach rachunkowych w rozdziale o czacie kontra Excelu. Ostrożność należy się rachunkom bez pliku, liczonym na danych wklejonych wprost do rozmowy. Precyzyjne obliczenia rób więc tam, gdzie Copilot ma pod spodem prawdziwy silnik liczący, czyli w tabeli Excela. Wtedy zamiast pojedynczej liczby zostaje formuła, którą ktoś inny może otworzyć i sprawdzić. Ta różnica jest kluczowa i wracamy do niej w osobnym rozdziale.
4. Nieaktualność i brak wiedzy o świecie na bieżąco. Copilot nie zna z automatu najświeższych wydarzeń ani zmian w prawie, o ile nie korzysta z trybu przeszukiwania sieci. W trybie opartym na danych firmy zna to, co jest w Twoich dokumentach, i nic ponadto. Nie zakładaj, że "wie", co się dzieje na rynku w tym tygodniu, ani że zna aktualny stan przepisów.
5. Pełna zależność od jakości promptu i danych. Copilot jest tak dobry, jak dobre jest pytanie i dane, na których pracuje. Niejasny prompt daje ogólną odpowiedź. Brudne dane (duplikaty, złe formaty, scalone komórki) dają błędne wyniki. Zasada "śmieci na wejściu, śmieci na wyjściu" obowiązuje tu w pełni. Dużą część "błędów Copilota" powoduje w rzeczywistości słabe pytanie albo bałagan w plikach.
Co Copilot robi, gdy nie ma danych: osiem prób na znanych liczbach
Najczęstsza obawa przed Copilotem brzmi: „a co, jeśli zmyśli”. Zamiast opowiadać, jak to wygląda, sprawdziliśmy to na własnych plikach. Osiem pytań, każde o coś, czego wynik znamy wcześniej - albo co do grosza z arkusza, albo co do faktu z dokumentu. Trzy pytania dotyczyły rzeczy, których w plikach nie ma. Wynik jest inny, niż podpowiada intuicja, i właśnie dlatego warto go znać. Niżej rozbieramy krok po kroku cztery z tych prób, po jednej na każdy typ sytuacji, w którą wpadniesz najczęściej: przy włączonym Work IQ i pytaniu o firmowe dane Copilot nie zmyślił ani razu. Kiedy nie miał podstaw, mówił o tym wprost.
Pliki do tych prób
Próby niżej robiliśmy na dwóch plikach. Pobierz oba i wrzuć do swojego OneDrive, to sprawdzisz u siebie dokładnie to samo, na tych samych danych. Bez tego zobaczysz inne liczby i inne odmowy.
- copilot_excel_demo.xlsx ↓ - arkusz sprzedaży z czterystu dwudziestoma transakcjami, podziałem na regiony i kwartały oraz marżą procentową, plus osobny arkusz z produktami i ich sprzedażą kwartalną.
- raport_projektu_demo.docx ↓ - raport statusu wdrożenia systemu ERP w Nordvent.
Zanim zaczniesz: nie podpowiadamy, do którego pliku odnosi się które pytanie ani które z nich są pułapkami. Odpowiedź znajdziesz sam, porównując to, co Copilot napisze, z zawartością tych plików. O to w tej sekcji chodzi.
Krok 1. Zapytaj o dokument, którego nie ma
Najprostszy test: poproś o streszczenie dokumentu, który nie istnieje, i zażądaj szczegółów, których nie da się zmyślić po cichu - nazwisk i daty.
Streszcz protokół odbioru pierwszego etapu wdrożenia ERP w Nordvent. Wypisz, kto podpisał protokół i z jaką datą.
Co powinieneś zobaczyć: odmowę, listę tego, czego brakuje, i propozycję dalszego szukania. Żadnych nazwisk, żadnej daty. To jest wzorzec odpowiedzi „nie mam podstaw” i wygląda inaczej niż odpowiedź merytoryczna - jest krótsza, nie ma w niej liczb i nie ma odwołania do źródła.
Krok 2. Zadaj pytanie z fałszywym założeniem
Trudniejszy test. Pytanie brzmi sensownie i zakłada fakt, którego w danych nie ma. Model ma pokusę, żeby „domyślić się”, o co Ci chodziło, i podstawić coś podobnego.
Dlaczego sprzedaż w regionie Centrum spadła w trzecim kwartale? Podaj trzy przyczyny wynikające z danych i o ile procent spadła wobec drugiego kwartału.
W pliku są cztery regiony: Północ, Południe, Wschód i Zachód. Copilot wymienia je, odmawia policzenia spadku dla nieistniejącego Centrum i proponuje, co może zrobić zamiast tego. Gdyby zmyślał, to właśnie tutaj by się to stało - pytanie samo podsuwa gotową tezę.
Krok 3. Sprawdź liczby, które jednak podał
Odmowa to jedno. Drugie pytanie brzmi: czy to, co policzył, jest poprawne. Wybraliśmy zadanie, w którym łatwo o pomyłkę - mediana z podzbioru wybranego innym warunkiem.
Podaj medianę marży procentowej dla tych produktów, których sprzedaż w trzecim kwartale była wyższa niż w drugim, i podaj, ile takich produktów jest.
Krok 4. Zapytaj o zapis, którego w dokumencie nie ma
Ostatni test na tym samym wzorcu, ale na dokumencie tekstowym zamiast arkusza. Pytamy o karę umowną i od razu o numer strony, żeby wymusić konkret.
Jaka jest wysokość kary umownej za opóźnienie startu produkcyjnego zapisana w tym raporcie i na jakiej stronie się znajduje?
Czat kontra Excel: gdzie naprawdę jest różnica
Popularna rada brzmi: nie ufaj liczbom z czatu, bo model liczy na oko. Sprawdziliśmy i to też okazało się nieprawdą w tym trybie pracy. Trzy pytania rachunkowe zadane na pliku wskazanym ukośnikiem dały wyniki zgodne z arkuszem co do grosza: sprzedaż regionu Południe 4 118 417,66 zł przy 96 transakcjach, ten sam region w drugim kwartale 583 892,12 zł przy 28 transakcjach, oraz mediana marży opisana wyżej. Różnica między czatem a arkuszem leży gdzie indziej i jest ważniejsza niż sama poprawność.
Czat daje wynik, arkusz daje formułę
Odpowiedź w czacie jest zdjęciem stanu z jednej chwili. Jeśli jutro dopiszesz dwadzieścia wierszy, liczba w rozmowie się nie zmieni, bo rozmowa nie jest podłączona do pliku. Formuła w arkuszu przeliczy się sama. To nie jest różnica w dokładności, tylko w tym, czy wynik żyje razem z danymi.
Druga różnica: formułę widać. Możesz ją przeczytać, poprawić warunek i sprawdzić na dwóch wierszach, czy robi to, co myślisz. Odpowiedź w czacie trzeba sprawdzić osobno, a przy większym zbiorze to zwykle znaczy: policzyć jeszcze raz w arkuszu.
Co widać, gdy Copilot nie ma dostępu do danych
Ta sama rozmowa przy wyłączonym i włączonym przełączniku Work IQ pokazuje granicę narzędzia najwyraźniej. To jest realne ograniczenie, o które warto pytać w swojej firmie: nie „czy Copilot zmyśla”, tylko „do czego ma dostęp”.
Dane, których Copilot nie widzi
To ograniczenie na pierwszy rzut oka wygląda jak wada, a w rzeczywistości jest jednym z najważniejszych zabezpieczeń. Copilot w Microsoft 365 widzi dokładnie tyle, ile Ty. Ani mniej, ani więcej. Jeśli nie masz uprawnień do jakiegoś folderu SharePoint, to Copilot uruchomiony na Twoim koncie też do niego nie zajrzy. To dobra wiadomość, bo znaczy, że narzędzie nie wyciąga na wierzch dokumentów, których nie powinieneś widzieć.
Zbierzmy wprost, do czego Copilot nie ma dostępu:
- Dokumenty, do których nie masz uprawnień. Cudze pliki, zamknięte foldery, obszary SharePoint spoza Twojego zakresu. Copilot respektuje te same reguły dostępu co reszta Microsoft 365.
- Systemy spoza Microsoft 365. Firmowy CRM, system ERP, aplikacja księgowa. Jeśli nie zostały podłączone przez integrację albo dedykowanego agenta, Copilot ich nie zna.
- Wiedza, która nigdzie nie została zapisana. Ustalenia z korytarza, decyzje podjęte ustnie, kontekst, którego nie ma w żadnym dokumencie. Skoro nie istnieje w plikach, Copilot nie ma skąd tego wziąć.
- Bieżące informacje z internetu. W trybie opartym na danych firmy Copilot nie przegląda sieci. Aktualności zna tylko wtedy, gdy świadomie użyjesz trybu przeszukiwania internetu, i również ten wynik trzeba potwierdzić.
Dlaczego to dla Ciebie ważne w praktyce. Jeśli zadasz pytanie o coś, czego nie ma w Twoim zasięgu, Copilot napisze, że nie znajduje danych, i tak wyglądały wszystkie trzy odmowy z naszych prób. Uwaga przenosi się więc z pytania "czy zmyślił" na pytanie "czy w ogóle mógł to zobaczyć". Przy danych, które mogą leżeć poza Twoim dostępem, domagaj się źródła i sprawdź zasięg swoich uprawnień, zanim uznasz odmowę za wiążącą odpowiedź.
Kiedy szczególnie NIE ufać odpowiedzi
Nie chodzi o to, żeby nie ufać nigdy. Chodzi o to, żeby wiedzieć, w których momentach czujność powinna być największa. Poniżej lista sytuacji, w których zawsze weryfikuj, zanim przyjmiesz odpowiedź za pewnik. Potraktuj ją jak zestaw czerwonych lampek, które powinny się zapalić same, gdy tylko zobaczysz taką odpowiedź.
- Konkretne liczby i kwoty, które trafią do raportu, oferty albo decyzji. Każda taka liczba wymaga sprawdzenia u źródła. To najczęstsze miejsce kosztownych pomyłek.
- Cytaty i przytoczenia ("w dokumencie napisano, że..."). Copilot potrafi sparafrazować sens niedokładnie albo przypisać zdanie do złego miejsca. Zażądaj oryginalnego zdania.
- Podsumowania długich materiałów, na podstawie których podejmiesz decyzję. Skrót zawsze coś pomija, a Copilot decyduje sam, co jest ważne.
- Odpowiedzi na pytania o coś, czego prawdopodobnie nie ma w danych. W naszych próbach Copilot odmawiał w każdym takim przypadku, więc czujność należy się nie samej liczbie, a temu, żeby nie wziąć odmowy za dowód, że czegoś nie ma. Piszemy o tym w rozdziale o danych, których Copilot nie widzi.
- Treści prawne, finansowe, medyczne albo o dużych konsekwencjach. Tu Copilot może pomóc zredagować, ale merytorykę potwierdza ekspert i dokument źródłowy.
Jak weryfikować odpowiedzi krok po kroku
Weryfikacja nie musi trwać długo. Wystarczy kilka nawyków, które szybko wchodzą w krew. Rozpiszemy je jako trzy prompty do skopiowania plus trzy zasady kontroli po Twojej stronie. Najważniejszy nawyk to prosić Copilota, żeby sam pokazał, skąd ma daną informację.
Krok 1. Poproś o źródła
Po każdej odpowiedzi z liczbami lub twierdzeniami zapytaj wprost, z czego pochodzą. To jeden z najważniejszych promptów w całym kursie i warto go mieć zapisany pod ręką.
Podaj źródła dla każdej informacji w powyższej odpowiedzi. Przy każdej liczbie i twierdzeniu napisz, z którego dokumentu, arkusza albo maila to pochodzi. Jeśli czegoś nie ma w dostępnych plikach, oznacz to wyraźnie jako informację niepotwierdzoną.
Krok 2. Rozdziel fakty od oszacowań
To pytanie ujawnia, gdzie Copilot faktycznie odczytał dane, a gdzie zgadywał. Bardzo często dopiero po tym prompcie okazuje się, że część "danych" to w rzeczywistości oszacowania modelu.
Które liczby w tej odpowiedzi pochodzą wprost z dokumentu, a które oszacowałeś albo wyliczyłeś samodzielnie? Rozpisz to w dwóch osobnych listach: dane pewne ze źródła oraz Twoje oszacowania.
Krok 3. Poproś o dokładny fragment
Zamiast wierzyć w parafrazę, każ Copilotowi pokazać oryginał. To najlepszy sposób na sprawdzenie cytatów i przytoczeń, przy których łatwo o przekręcenie sensu. Efekt takiego polecenia widziałeś wyżej, przy kroku z podpiętym plikiem: Copilot przytoczył wtedy dosłownie wiersz z arkusza zamiast go opisać.
Zacytuj dokładny fragment dokumentu, na którym opierasz to twierdzenie. Podaj oryginalne zdanie oraz nazwę pliku i sekcję, w której się znajduje.
Krok 4. Sprawdź to jeszcze po swojej stronie
Poza pytaniami do samego Copilota stosuj trzy proste zasady kontroli, które są całkowicie w Twoich rękach:
- Kluczowe liczby przelicz sam. Najlepiej w tabeli Excela, gdzie Copilot generuje formułę liczącą naprawdę, a nie szacunek. Wracamy tu do rozdziału o liczeniu w czacie kontra w arkuszu.
- Klikaj w cytowane odwołania. W aplikacjach, które pokazują przypisy do plików (na przykład Word czy Teams), sprawdź, czy podlinkowany dokument faktycznie mówi to, co Copilot streścił.
- Nic nie wychodzi z Twoich rąk bez przeczytania. Mail, raport, prezentacja czy podsumowanie spotkania to zawsze wersja robocza do sprawdzenia, nie gotowy produkt do wysłania w ciemno.
Pułapki po stronie użytkownika
Część problemów nie wynika z narzędzia, tylko ze sposobu, w jaki go używamy. To dobra wiadomość, bo te pułapki w całości zależą od Ciebie i łatwo je wyeliminować. Przejdziemy przez cztery najczęstsze.
Ryzyko kontra zabezpieczenie (ściąga)
Poniższa tabela zbiera najważniejsze ryzyka w jednym miejscu i przypisuje każdemu konkretne zabezpieczenie. Warto ją mieć pod ręką, dopóki weryfikacja nie stanie się dla Ciebie odruchem. Możesz ją wydrukować i powiesić obok biurka albo wkleić do firmowej instrukcji korzystania z Copilota.
| Ryzyko | Jak się zabezpieczyć |
|---|---|
| Liczba podana bez wskazanego źródła | Proś o źródło każdej liczby, a gdy Copilot go nie wskaże, przelicz wartość w arkuszu |
| Liczba z czatu nie przelicza się po zmianie danych | Licz w tabeli Excela, gdzie po Copilocie zostaje formuła, a nie pojedyncza liczba |
| Odpowiedź o danych spoza Twoich uprawnień | Pamiętaj, że Copilot widzi tylko Twoje pliki i maile, a brak dostępu zgłosi jako brak danych |
| Nieaktualna informacja | Nie zakładaj wiedzy o bieżących wydarzeniach, potwierdzaj u aktualnego źródła |
| Ślepe wysłanie wygenerowanej treści | Zawsze przeczytaj wersję roboczą przed wysłaniem, to Ty zatwierdzasz |
| Dane wrażliwe w promptach | Stosuj polityki firmy, nie używaj prywatnych narzędzi AI do danych firmowych |
| Nadmierne zaufanie do skrótu | Kluczowe punkty potwierdzaj w oryginale, skrót tylko naprowadza |
| Rozwlekła, przeformatowana odpowiedź | Narzuć format i długość w prompcie, na przykład sama tabela lub 5 zdań |
| Cytat przypisany do złego miejsca | Żądaj dokładnego oryginalnego zdania z nazwą pliku i sekcji |
Dobre praktyki bezpiecznego użycia
Na koniec zbierzmy to w prostą listę zasad. Jeśli wejdą Ci w nawyk, będziesz korzystać z Copilota szybko i bez ryzyka, że coś błędnego wyjdzie pod Twoim nazwiskiem.
- Zawsze pytaj o źródło przy liczbach, cytatach i twierdzeniach, które trafią dalej.
- Precyzyjne obliczenia rób w Excelu, nie w oknie czatu, żeby Copilot liczył formułą, a nie szacował.
- Traktuj każdy wynik jako wersję roboczą. Ostateczną odpowiedzialność za treść ponosisz Ty, nie narzędzie.
- Nie wklejaj danych wrażliwych wbrew politykom firmy i nie sięgaj po prywatne, darmowe narzędzia AI do danych firmowych.
- Doprecyzowuj prompty i dbaj o czyste dane. Większość "błędów Copilota" ma źródło w słabym pytaniu albo bałaganie w plikach.
- Weryfikuj podsumowania tam, gdzie decyzja jest ważna, sięgając do oryginału.
- Pytaj administratora lub dział bezpieczeństwa, gdy masz wątpliwość dotyczącą danych albo zgodności z zasadami organizacji.
Świadomość ograniczeń nie odbiera Copilotowi wartości, tylko ją zwiększa. Kiedy wiesz, gdzie narzędzie jest mocne, a gdzie potrzebuje Twojej kontroli, przestajesz się bać "co, jeśli się pomyli", a zaczynasz korzystać z niego pewnie i szybko. W kolejnej, ostatniej lekcji kursu podsumujemy całą drogę i pokażemy, jak wpleść Copilota w codzienny rytm pracy zespołu.
Szkolenie Copilot w Office 365 to dwa dni praktycznych warsztatów z trenerem praktykiem. Uczysz się Microsoft 365 Copilota w każdej aplikacji, w Word, Excel, Outlook, Teams, PowerPoint i OneNote, na realnych przykładach z codziennej pracy: maile, dokumenty, arkusze, prezentacje i spotkania. Wychodzisz z gotową biblioteką promptów dla swojego zespołu. Szkolenie ma terminy gwarantowane, więc odbędzie się niezależnie od liczby zapisanych.
Szkolenie Copilot w Office 365 -->
To szkolenie może być dofinansowane dla Ciebie z KFS lub BUR.
★★★★★Średnia ocena naszych szkoleń w Google: 5/5
Newsletter bloga JSystems
Otrzymuj każdą nową lekcję prosto na swoją skrzynkę
Newsletter bloga JSystems wychodzi w środy. Zapisz się, a dostaniesz powiadomienie zaraz po publikacji każdej lekcji.
Poprzednia lekcja
<-- Lekcja 17: Biblioteka promptówNastępna lekcja
Lekcja 19: Bezpieczeństwo i RODO
Komentarze (0)
Brak komentarzy...