Najgroźniejsza awaria nie wygląda na awarię. Monachium nazywa pięć warstw, których nikt nie mierzy.

Rynek AI rozmawia o bezpieczeństwie w kategoriach spektaklu. Model wygeneruje treść, która trafia na zrzut ekranu, i dostawca dokręca filtr. Albo w drugą stronę: konferencja o ryzyku egzystencjalnym, dziesięć lat do przodu, nic do zrobienia w poniedziałek. Kasneci i Kasneci zajmują trzecią pozycję, najmniej efektowną i najbardziej użyteczną dla kogoś, kto właśnie podpisuje umowę z dostawcą.

Ich teza brzmi tak: system, który wygląda na wyraźnie zepsuty, rzadko wchodzi do masowego użycia. Groźny jest ten, który działa wystarczająco dobrze, żeby zasłużyć na rutynowe zaufanie, jest wystarczająco nieprzejrzysty, żeby skutecznie opierać się podważeniu, i wystarczająco głęboko wpięty w proces, żeby kształtować to, co dzieje się dalej. Awaria takiego systemu nie wygląda na awarię. Wygląda na wtorek.

O czym jest ten materiał

Dziewiętnaście stron tekstu plus dwustronicowa tabela kontrolna i dwanaście kierunków badawczych. Autorzy nie zgłaszają nowego benchmarku ani nowej teorii. Robią coś, czego w tej literaturze brakowało: porządkują rozproszone ustalenia z badań nad automation bias, prompt injection, pamięcią agentów, ewaluacją i degradacją korpusów w jeden szkielet, który da się przyłożyć do konkretnego wdrożenia.

Punkt wyjścia to obserwacja o czterech cechach wspólnych ukrytych awarii. Są prawdopodobne, czyli tak podobne do zwykłej pracy, że organizacja je normalizuje. Są rozproszone, czyli powstają na styku modelu, wyszukiwania, narzędzi, interfejsu, operatora i instytucji, a nie w jednej złej odpowiedzi. Są rozciągnięte w czasie, czyli ryzyko kumuluje się przez tury, sesje, zapisy do pamięci i kolejne wersje. I czwarta cecha, jedyna naprawdę nowa w tym zestawieniu: degradują korektę. Nie tylko wytwarzają błędy. Osłabiają mechanizmy, które te błędy miały wyłapywać.

Stąd pięć warstw integralności, na których zbudowany jest cały artykuł. Epistemiczna: czy widać, co jest wiedzą, a co tylko brzmi jak wiedza. Kontrolna: czy system wie, kto ma prawo wydawać mu polecenia. Czasowa: czy bezpieczeństwo utrzymuje się między sesjami i wersjami. Organizacyjna: czy instytucja nadal potrafi audytować, przypisać odpowiedzialność i zatrzymać. Ekosystemowa: czy środowisko informacyjne, z którego wszyscy czerpiemy, nie gnije od własnych wytworów.

Recenzja właściwa

Pięć warstw, jedno pytanie

Warstwa epistemiczna. Autorzy wprowadzają pojęcie długu kalibracyjnego: rosnący rozjazd między zaufaniem faktycznym a zaufaniem uzasadnionym. Rośnie wtedy, gdy płynność, tempo i wygoda zastępują weryfikację. Nie objawia się przy okazji, tylko na pierwszej poważnej sprawie. Drugie pojęcie z tej warstwy jest jeszcze celniejsze: pranie legitymacji. Dołączone dokumenty nadają odpowiedzi powagę, choć zacytowany fragment wcale nie uzasadnia wniosku. Bliźniacze pranie niepewności polega na tym, że słabo poparty wynik zostaje przepisany na czysto i po drodze gubi zastrzeżenia, z którymi powstał. Każdy, kto widział, jak notatka researchera staje się akapitem opinii, wie, że to nie jest zjawisko wymyślone dla AI.

Warstwa kontrolna. Tu pada zdanie, które warto zapamiętać w tej formie: prompt injection to nie jest błąd bezpieczeństwa, to dowód, że system nie odróżnia danych od poleceń. Jeżeli instrukcję da się przemycić kanałem treści, mailem, załącznikiem, wynikiem wyszukiwania albo wpisem w pamięci, to granica kontroli jest przepuszczalna z założenia, a nie przez niedopatrzenie. Drugie pojęcie z tej warstwy to wzmocnienie działania: w systemie, który ma narzędzia, drobny błąd interpretacyjny nie kończy się złym akapitem, tylko zmianą stanu na zewnątrz. Skasowanym plikiem, wysłaną wiadomością, zmienionym uprawnieniem. Recenzowaliśmy to zjawisko od strony pomiaru w TOMIE 062.

Warstwa czasowa. System bezpieczny w teście jednej tury bywa niebezpieczny w trajektorii pięćdziesięciu. Cel rozkłada się na niewinnie wyglądające kroki, odmowy stają się podpowiedzią, gdzie nacisnąć następnym razem, a kontekst zostaje. Najmocniejsza obserwacja tej sekcji dotyczy pamięci: pamięć bywa cicho autorytatywna. Treść, która trafiła tam przy jednej rozmowie, wraca później jako rzekoma wcześniejsza wiedza systemu, bez metki, skąd pochodzi. Chwilowa awaria staje się trwałą.

Warstwa organizacyjna. Dwa terminy, oba nadają się do rozmowy z zarządem. Oszustwo ewaluacyjne: wynik ważny dla wąskiego testu zostaje odczytany jako dowód bezpieczeństwa całego wdrożenia. Fikcyjny nadzór ludzki: człowiek formalnie jest w pętli, ale nie ma czasu, dowodu, kompetencji, uprawnienia ani osłony organizacyjnej, żeby samodzielnie osądzić sprawę. Autorzy stawiają przy tym pytanie, które warto powiesić na ścianie: jeżeli recenzent akceptuje prawie wszystko bez zmian, to znaczy, że model jest bardzo dobry albo że recenzja jest ceremonią, a tych dwóch możliwości nie wolno mylić.

Warstwa ekosystemowa. Modele uczą się i wyszukują w środowisku, które same zapełniają. Stąd znane już zjawisko zapadania się modelu przy trenowaniu na własnych wytworach oraz jego świeższy krewny: zapadanie się wyszukiwania, gdy pipeline zwraca coraz więcej treści syntetycznej, homogenicznej albo zoptymalizowanej pod pozycjonowanie, i robi to bez natychmiastowego spadku trafności odpowiedzi. Degraduje się nie odpowiedź, tylko podstawa dowodowa. Autorzy wyciągają z tego wniosek, który u nas ma nazwę własną: wysokiej jakości korpus przejrzany przez ludzi jest aktywem bezpieczeństwa, nie kosztem.

Tabela, która zamienia diagnozę w audyt

Najbardziej użyteczna część artykułu ma dwie strony i wygląda niepozornie. Dla dziesięciu ukrytych wyzwań autorzy podają, dlaczego zjawisko pozostaje niewidoczne, jaka kontrola jest wykonalna i jakim wskaźnikiem to zmierzyć. Wskaźniki są konkretne: liczba skutecznych naruszeń hierarchii instrukcji, liczba nieautoryzowanych wywołań narzędzi na tysiąc wywołań, przeżywalność granic bezpieczeństwa w trajektoriach powyżej pięćdziesięciu tur, średni czas recenzji na sprawę, udział źródeł syntetycznych lub o niepewnym pochodzeniu, średni czas do wykrycia i przywrócenia stanu.

Jeden z nich jest lepszy od pozostałych i wart osobnego akapitu: wykrywalność zasianych błędów. Zamiast pytać recenzenta, czy sprawdza, wsadza się w strumień pracy kontrolowany błąd i patrzy, czy został złapany. To jedyny mechaniczny sposób odróżnienia nadzoru od jego imitacji, jaki ten artykuł proponuje. Deklaracja niczego nie dowodzi, bo każdy zadeklaruje, że czyta uważnie. Zasiany błąd nie negocjuje.

Pomiar, który mierzy sukces, nie wykryje awarii. Mierzyć trzeba rzecz odwrotną: czy system i człowiek nadal potrafią złapać to, co jest złe.

Gdzie ten tekst jest słaby

Po pierwsze, status dowodowy. To artykuł perspektywiczny i autorzy nie udają inaczej: piszą wprost, że nie twierdzą, iż opisane tryby awarii są równie częste, groźne czy dojrzałe w różnych dziedzinach. Część przywoływanych wyników pochodzi z warunków symulowanych i kontrolowanych prób adwersarialnych. To dobry katalog mechanizmów, nie mapa częstości. Kto zacytuje go zarządowi jako dowód, że coś się dzieje u niego, zrobi dokładnie to, co artykuł nazywa praniem legitymacji.

Po drugie, mierzalność. Autorzy sami nazywają wskaźniki ilustracyjnymi i to jest uczciwe, ale jeden z nich w praktyce nie działa. Rozjazd między zaufaniem faktycznym a uzasadnionym wymaga niezależnej prawdy bazowej, czyli wiedzy, jak sprawa powinna była się skończyć. Kancelaria takiej wiedzy nie ma inaczej niż przez kosztowny audyt próby spraw. Bez tego dług kalibracyjny zostaje trafną metaforą i niczym więcej. Zasiane błędy, czas recenzji i liczba nadpisanych rekomendacji dają się policzyć bez żadnego przygotowania. Reszta wymaga budżetu, o którym artykuł nie wspomina.

Po trzecie, i to jest luka najpoważniejsza, artykuł jest ślepy architektonicznie. Mówi bardzo dokładnie, CO instrumentować: trajektorie, zapisy do pamięci, pochodzenie dowodu, historię wykonania, zdarzenia bliskie awarii. Milczy o tym, GDZIE ten materiał powstaje i kto go potem trzyma. W kancelarii to nie jest szczegół techniczny, tylko sedno sprawy. Log trajektorii pracy nad sprawą zawiera treść chronioną tajemnicą zawodową. Pamięć agenta zawiera to samo. Instrumentacja, która ma podnieść bezpieczeństwo, tworzy jednocześnie najbardziej wrażliwy zbiór w całej organizacji. Ta sama ślepota dotknęła materiał recenzowany w TOMIE 073: dużo o dowodzie, nic o miejscu jego powstawania.

Po czwarte, jurysdykcja. Artykuł odsyła do AI Act zbiorczo, jako do jednego przypisu obok NIST. Nie ma mapowania na artykuły, nie ma kalendarza obowiązywania, nie ma rozróżnienia ról dostawcy i podmiotu stosującego. Dla europejskiego czytelnika to znaczy, że najciekawszą robotę, czyli przełożenie pięciu warstw na wiążące przepisy, trzeba wykonać samemu.

I obserwacja na koniec, bez złośliwości, ale nie do pominięcia. Artykuł zawiera ujawnienie o użyciu AI: ChatGPT i Gemini pomagały przy dopracowaniu języka i wygenerowaniu schematów, autorzy biorą odpowiedzialność za treść. Tekst o praniu niepewności sam przeszedł przez warstwę polerującą. To nie jest zarzut, bo ujawnienie jest dokładnie tym, czego wymagamy od innych. To ilustracja skali zjawiska: nie ma już czystego pola, z którego dałoby się je obserwować z zewnątrz.

Jak to czytać od strony kancelarii - interpretacja MateMatic

Bierzemy trzy rzeczy. Pierwsza: pięciowarstwowy szkielet jako listę kontrolną audytu wdrożenia, bo pokrywa się z tym, o co i tak pyta AI Act, a mieści się na jednej stronie. Druga: test siły recenzenta w miejsce deklaracji o nadzorze. Budżet czasu na sprawę, dostęp do materiału źródłowego, mierzalna ścieżka nadpisania decyzji, imienna odpowiedzialność za bezpieczeństwo wdrożenia, próg zatrzymania systemu. To jest artykuł 14 AI Act przełożony na coś, co da się policzyć, a nie opisać w polityce. Trzecia: pamięć jako uprzywilejowana granica bezpieczeństwa. Zapis typowany, ograniczony zakresem, oznaczony pochodzeniem, wygasający i odwoływalny, izolowany per klient i per sprawa. Wartością domyślną jest pamięć minimalna, przeglądalna i kasowalna.

Nie endorsujemy trzech. Statusu dowodowego, bo to katalog mechanizmów, nie pomiar rynku. Wskaźników jako gotowych metryk, bo są ilustracyjne, a jeden bez niezależnej prawdy bazowej nie działa wcale. I domyślnego założenia, że więcej instrumentacji zawsze znaczy więcej bezpieczeństwa. W kancelarii bywa odwrotnie: logowanie treści przenosi ryzyko z warstwy jakości na warstwę poufności i robi to po cichu.

Dopisujemy warstwę, której artykuł nie ma. Wiążące przepisy: artykuł 14 AI Act (nadzór ludzki, który ma być skuteczny, a nie obecny), artykuł 12 (rejestrowanie zdarzeń), artykuł 26 (obowiązki podmiotu stosującego), RODO artykuł 5 ustęp 2 (rozliczalność) i artykuł 32 (bezpieczeństwo przetwarzania). Do tego tajemnica zawodowa: artykuł 6 Prawa o adwokaturze i artykuł 3 ustawy o radcach prawnych. Z ich zestawienia wychodzi konsekwencja, której autorzy nie widzą, bo patrzą z uczelni, nie z kancelarii. Jeżeli dowód działania systemu musi powstawać, a jednocześnie nie może wyciec, to jedyne miejsce, w którym oba warunki spełniają się naraz, jest instalacja lokalna. Zdanie o zaufanym korpusie jako aktywie bezpieczeństwa czytamy w tym samym duchu: korpus zbudowany i przejrzany u siebie jest wart więcej niż dostęp do cudzego indeksu, którego składu nikt nam nie pokaże.

Część pojęć z tego artykułu ma u nas zmierzone odpowiedniki. Pranie legitymacji to jest to, co Stanford policzył u dostawców legal RAG i co opisaliśmy w TOMIE 066: od 17 do 33 procent odpowiedzi narzędzi do badań prawnych zawierało halucynację, przy marketingowej obietnicy jej wyeliminowania. Niewidzialność awarii ma pomiar w TOMIE 061, gdzie zdecydowana większość błędów nie została zauważona ani przez użytkownika, ani przez monitoring. A trudność samego monitorowania nazwał NIST w TOMIE 011, przyznając wprost, że monitorować trzeba, a metod nie ma jeszcze w komplecie.

Czego artykuł nie twierdzi

Nie twierdzi, że modele są celowo zwodnicze. Przywołuje wyniki o pozorowaniu zgodności i manipulowaniu nagrodą jako dowód czegoś innego: posłuszeństwo obserwowane w jednym reżimie nadzoru nie przenosi się automatycznie na inny, z innymi narzędziami i innymi bodźcami. Nie twierdzi, że pięć warstw wyczerpuje problem, i sam nazywa je urządzeniem porządkującym, nie taksonomią zamkniętą. Nie podaje żadnej liczby, którą można by zacytować jako skalę zjawiska w kancelariach, bo takiej liczby w tym artykule nie ma. Wnioski o polskiej praktyce w tej recenzji są nasze, nie autorów.

Co z tego wynika

Artykuł daje kancelarii to, czego nie daje żadna lista kontrolna zgodności: język, w którym da się nazwać awarię, zanim się wydarzy, i pięć pytań, na które dostawca albo odpowie konkretem, albo zacznie mówić o innowacji.

Pięć pytań kontrolnych do wdrożenia AI, które ten artykuł uzasadnia (interpretacja MateMatic). Czy widać, na czym oparta jest odpowiedź, i czy sprawdzenie tego jest szybsze niż przyjęcie na wiarę. Kto w tym systemie ma prawo wydawać polecenia i czy da się je przemycić kanałem treści. Co system zapamiętuje, na jak długo, kto może to skasować i czy stary wpis może wpłynąć na dzisiejszą decyzję o dużej stawce. Czy nasz recenzent ma czas, dowód i uprawnienie, i skąd właściwie wiemy, że ma, skoro nikt nigdy nie zasiał mu błędu. I pytanie, które podsumowuje całą pracę: czy po tym wdrożeniu jesteśmy szybsi w wykrywaniu własnych błędów, czy tylko szybsi.