Halucynacja to wynik, który brzmi wiarygodnie, lecz nie ma oparcia w dostępnych dowodach. Może wymyślać cytat, łączyć dwie osoby, używać nieaktualnej polityki, błędnie odczytywać tabelę lub pewnie wypełniać lukę, na którą źródło nigdy nie odpowiedziało. Płynność czyni takie błędy niebezpiecznymi, ponieważ jakość prezentacji można pomylić z wiarygodnością.
To zachowanie wynika ze sposobu działania modeli generatywnych. Tworzą one prawdopodobne kontynuacje na podstawie dostarczonych instrukcji i kontekstu; nie zaglądają do wewnętrznego rejestru, który gwarantuje prawdziwość każdego zdania. Lepsze modele mogą zmniejszać liczbę błędów, ale żaden system ogólnego przeznaczenia nie eliminuje potrzeby stosowania zabezpieczeń.
Ryzyko zależy od zadania. Zaskakująca metafora podczas burzy mózgów może być użyteczna. Zmyślona liczba w raporcie finansowym już nie. Przed wyborem poziomu automatyzacji określ, które twierdzenia wymagają dowodów, jaka niepewność jest dopuszczalna i kto ponosi koszt pomyłki.
Oparcie w źródłach jest pierwszą linią obrony. Dostarczaj aktualne, trafne źródła i polecaj modelowi z nich korzystać. Generowanie wspomagane wyszukiwaniem może wprowadzić do zapytania prywatne lub zmieniające się dokumenty. Takie oparcie nadal wymaga oceny: pobranie nieistotnego albo nieaktualnego fragmentu może stworzyć dobrze udokumentowany błąd.
Wymagaj śledzalności na poziomie twierdzenia. Lista źródeł na końcu odpowiedzi nie pokazuje, które stwierdzenie wspiera każde źródło. Proś o cytaty przy twierdzeniach faktycznych, zachowuj identyfikatory dokumentów i ułatwiaj recenzentowi otwarcie wskazanego fragmentu. Nigdy nie traktuj cytatu wygenerowanego przez model jako zweryfikowanego, dopóki nie sprawdzisz miejsca docelowego i potwierdzenia.
Daj modelowi prawo do wstrzymania odpowiedzi. Jeśli dowody nie odpowiadają na pytanie, poprawnym wynikiem może być „niewystarczające informacje”, prośba o brakujący dokument lub lista nierozstrzygniętych punktów. Aplikacja, która nagradza ukończenie zadania za wszelką cenę, będzie zachęcać do pewnego zgadywania.
Walidacja powinna odpowiadać rodzajowi wyniku. Dane ustrukturyzowane można sprawdzić względem schematu, zakresu lub znanego słownika. Obliczenia można przeliczyć ponownie. Nazwy i identyfikatory można dopasować do bazy danych. Cytaty można znaleźć w tekście źródłowym. Kod można skompilować i przetestować. Te deterministyczne kontrole wychwytują błędy, które może powtórzyć kolejna swobodna recenzja modelowa.
W przypadku trudnych dokumentów oddziel wyodrębnianie od interpretacji. Najpierw przechwyć istotne wartości i fragmenty wraz ze współrzędnymi lub cytatami. Potem poproś model, aby je wyjaśnił. Powstaje w ten sposób artefakt pośredni, który może sprawdzić człowiek lub test, a ryzyko, że dopracowana narracja ukryje błąd odczytu, maleje.
Przy decyzjach o dużym wpływie korzystaj z niezależnej kontroli. Osoba oceniająca potrzebuje oryginalnych dowodów, a nie tylko odpowiedzi. Nadzór człowieka jest najcenniejszy, gdy dana osoba ma prawo zatrzymać proces i wystarczająco dużo czasu na zbadanie ryzykownych twierdzeń; pole zatwierdzenia użyte wyłącznie dla pozoru daje niewielką ochronę.
Monitoruj błędy produkcyjne zamiast polegać wyłącznie na ocenach przed wdrożeniem. W granicach prywatności zapisuj reprezentatywne prompty, pobrane dowody, wyniki, poprawki i wersje modeli. Grupuj błędy według przyczyny: brakujące źródło, błędne wyszukiwanie, niejednoznaczny prompt, niepoparta synteza, nieaktualne dane lub błąd walidacji. Każda przyczyna wymaga innej poprawki.
Uczciwie komunikuj niepewność w interfejsie. Pokazuj daty weryfikacji, zakres pokrycia źródłami oraz to, czy odpowiedź powstała z dokumentów użytkownika, czy z ogólnej wiedzy modelu. Unikaj odznak sugerujących gwarancję, której system nie może zapewnić.
Praktycznym celem nie jest obietnica, że AI nigdy nie halucynuje. Chodzi o to, by niepoparte twierdzenia były trudniejsze do wygenerowania, łatwiejsze do wykrycia, tańsze do poprawienia i mniej skłonne do niezauważonego wpłynięcia na ważną decyzję.
Łączymy źródła pierwotne, dokumentację produktów i rzeczywiste scenariusze użycia, aby ułatwić Ci ocenę, czy dane narzędzie pasuje do Twojego sposobu pracy.