O czym jest ten materiał

Checklista ma budowę tabeli o trzech kolumnach: obszar audytu, pytanie, sposób sprawdzenia. Czwarta zostaje pusta na status zgodności i uwagi audytora. Dziesięć sekcji obejmuje governance i zgodność regulacyjną, wykrywanie uprzedzeń i audyt sprawiedliwości, bezpieczeństwo i ataki adwersarialne, wyjaśnialność, wydajność i dryf modelu, ryzyko wdrożeniowe, etykę i odpowiedzialną AI, monitoring ciągły oraz dobre praktyki pisania raportu.

Autor jest praktykiem audytu wewnętrznego, nie prawnikiem regulacyjnym, i widać to w konstrukcji. Najmocniejszą częścią dokumentu jest kolumna trzecia. Nie poprzestaje na pytaniu, czy organizacja ma politykę, tylko mówi, gdzie szukać dowodu: protokoły komitetu etyki, logi przetwarzania, raporty testów uprzedzeń, dashboardy monitoringu, historia audytów. To rzadkie. Większość krążących checklist zatrzymuje się na pytaniu i zostawia audytora z kratką do odhaczenia.

Recenzja właściwa

Siatka tematyczna jest kompletna

Dziesięć obszarów pokrywa wszystko, co powinno paść w rozmowie o audycie systemu AI, łącznie z rzeczami, które w polskich dyskusjach wypadają najczęściej: dryfem modelu, atakami adwersarialnymi i planem działań po audycie. Sekcja o pisaniu raportu, zwykle pomijana, pyta o to, co decyduje o użyteczności dokumentu: czy ustalenia mają dowody, czy rekomendacje mają plan działania, czy wyniki są śledzone w czasie.

Pytania o wyjaśnialność wymieniają konkretne narzędzia, SHAP i LIME, oraz zewnętrzne biblioteki weryfikacji sprawiedliwości, IBM AI Fairness 360 i Fairlearn. Podobnie pytania o metryki: Equalized Odds, Disparate Impact, Statistical Parity. To poziom konkretu, którego w materiałach tej klasy zwykle nie ma.

AI Act występuje w roli logotypu

Tu zaczyna się problem. Rozporządzenie 2024/1689 pada w dokumencie pięć razy i za każdym razem w koniunkcji: obok ISO 42001, NIST AI RMF, zasad OECD, etyki UNESCO albo RODO. Nigdy samodzielnie i nigdy z własną treścią.

Przeszukanie tekstu pod kątem mechaniki rozporządzenia daje zero trafień:

  • Ocena zgodności jako procedura poprzedzająca wprowadzenie systemu do użytku: brak.
  • Ocena skutków dla praw podstawowych z artykułu 27, obowiązkowa dla części podmiotów stosujących systemy wysokiego ryzyka: brak.
  • Dokumentacja techniczna z załącznika IV, czyli to, co organ przeczyta w pierwszej kolejności: brak.
  • Rejestry zdarzeń z artykułu 12, wraz z okresem ich przechowywania: brak.
  • Rejestracja w bazie unijnej z artykułu 49: brak.
  • Rozróżnienie ról dostawcy i podmiotu stosującego, od którego zależy, który zestaw obowiązków w ogóle kogo dotyczy: brak.

Różnica między ramą a przepisem jest tu całą stawką. ISO 42001 i NIST AI RMF to dobrowolne ramy zarządzania: organizacja wybiera je, dostosowuje i wykazuje dojrzałość. Rozporządzenie 2024/1689 to prawo bezpośrednio stosowane, z klasyfikacją narzuconą z zewnątrz i sankcją na końcu. Wrzucenie ich do jednego wyliczenia sugeruje audytorowi, że to trzy odmiany tego samego gatunku. Nie są.

Klasyfikacja ryzyka używa niewłaściwej skali

Sekcja o raportowaniu pyta, czy ryzyka AI są kategoryzowane według poziomu wpływu: niski, średni, wysoki, krytyczny. To poprawna skala audytu wewnętrznego, zaczerpnięta z metodyk zarządzania ryzykiem.

Rozporządzenie ma inne cztery kategorie i inną logikę: praktyki zakazane, systemy wysokiego ryzyka, systemy objęte obowiązkami przejrzystości i reszta. To nie jest skala wpływu, tylko przyporządkowanie do reżimu prawnego, wynikające z przeznaczenia systemu i załącznika III, a nie z oceny audytora.

Audytor, który zaznaczy to pytanie, wyjdzie z przekonaniem, że sklasyfikował system. Sklasyfikował go na własnej skali. Do kwalifikacji z rozporządzenia nie zbliżył się ani o krok, a w raporcie zostanie zdanie, które zarząd przeczyta jako zgodność.

Prawo do wyjaśnienia jest cytowane jak przepis

Jedno z pytań brzmi, czy system spełnia wynikające z RODO prawo do wyjaśnienia. Sformułowanie jest wygodne i funkcjonuje w obiegu, ale w tekście rozporządzenia 2016/679 takiego prawa nie ma. Artykuł 22 daje prawo do niepodlegania decyzji opartej wyłącznie na automatycznym przetwarzaniu oraz, w określonych przypadkach, prawo do interwencji człowieka i zakwestionowania decyzji. Artykuły 13 do 15 dają prawo do, cytując przepis, „istotnych informacji o zasadach" podejmowania decyzji oraz o znaczeniu i przewidywanych konsekwencjach takiego przetwarzania. O wyjaśnieniu konkretnej decyzji mówi motyw 71, a motywy nie tworzą samodzielnych uprawnień. Spór o to trwa w doktrynie od 2017 roku i nie został rozstrzygnięty na korzyść wygodnego skrótu.

Dla audytu to nie jest niuans akademicki. Pytanie postawione w ten sposób prowadzi do odpowiedzi, której nie da się obronić w postępowaniu: albo organizacja zadeklaruje zgodność z prawem, którego nie ma, albo zacznie budować mechanizm pod nieistniejący obowiązek zamiast pod ten z artykułu 22.

Brakuje warstwy krajowej i zawodowej

Dokument jest napisany w perspektywie globalnej korporacji: RODO, CCPA, standardy branżowe. Dla kancelarii brakuje dwóch rzeczy, które w Polsce rozstrzygają najwięcej. Pierwsza to tajemnica zawodowa, która nie jest przypadkiem szczególnym ochrony danych, tylko osobnym reżimem z własnym trybem zwolnienia i własną sankcją. Druga to prawo krajowe wokół rozporządzenia: organ nadzoru, tryb zgłoszeń, obowiązki informacyjne wobec klienta.

Żadnego z tych braków nie stawiam autorowi jako zarzutu. Checklista globalna nie ma obowiązku znać polskiej procedury. Stawiam je jako ostrzeżenie przed użyciem dokumentu w stanie, w jakim jest.

Co z tego wynika

Do czego ten materiał nadaje się bardzo dobrze

Jako siatka pytań na pierwszą rozmowę o audycie. Sto pytań w dziesięciu obszarach szybciej pokaże, czego organizacja nie przemyślała, niż dwa tygodnie warsztatów. Kolumna z metodą sprawdzenia nadaje się do przepisania wprost do programu audytu, bo mówi o dowodach, nie o deklaracjach.

Jako narzędzie dydaktyczne dla zespołu, który dopiero wchodzi w temat. Język jest prosty, struktura powtarzalna, a nazwy narzędzi pozwalają iść dalej samodzielnie. W tej roli materiał dobrze uzupełnia TOM 0 o audycie dostawcy AI, który pyta o zewnętrznego partnera, podczas gdy ten pyta o system już u siebie.

Do czego nie nadaje się wcale

Jako dowód zgodności z rozporządzeniem 2024/1689. Komplet odhaczonych kratek nie odpowiada na żadne z pytań, które zada organ: jaka jest rola podmiotu, jaka klasyfikacja systemu, gdzie dokumentacja techniczna, gdzie rejestry zdarzeń, czy przeprowadzono ocenę skutków dla praw podstawowych.

Jako załącznik do raportu dla klienta bez przerobienia. Dokument jest materiałem promocyjnym firmy szkoleniowej, bez informacji o licencji. Wolno się nim inspirować, nie wolno go przeklejać.

Pięć pozycji, które trzeba dopisać przed użyciem w kancelarii

  1. Rola w łańcuchu. Czy kancelaria jest dostawcą, czy podmiotem stosującym, i dla którego konkretnie systemu. Od tego zależy cała reszta obowiązków.
  2. Kwalifikacja z rozporządzenia zamiast skali wpływu. Z odwołaniem do przeznaczenia systemu i załącznika III, a nie do oceny audytora na skali od niskiej do krytycznej.
  3. Rejestry zdarzeń i dokumentacja techniczna. Jako osobne pozycje, z terminem przechowywania i wskazaniem właściciela, nie jako podpunkt governance.
  4. Tajemnica zawodowa jako osobny obszar audytu. Nie podpunkt ochrony danych. Pierwsze pytanie brzmi, które dane w ogóle mogą opuścić kancelarię.
  5. Data stosowania przy każdym obowiązku. Checklista bez dat nie mówi, czy obowiązek już wiąże, czy dopiero będzie. To pierwsze pytanie zarządu.
Dla zarządu kancelarii w trzech zdaniach

Ta checklista jest dobrym narzędziem do zadawania pytań i złym narzędziem do udzielania odpowiedzi, bo jej mocną stroną jest kompletna siatka tematów, a słabą całkowity brak mechaniki rozporządzenia 2024/1689, które pada w niej wyłącznie jako nazwa obok ISO i NIST. Odhaczenie stu kratek daje obraz dojrzałości organizacyjnej, nie status zgodności z prawem unijnym, a te dwie rzeczy w raporcie dla zarządu zlewają się w jedno zdanie, którego potem nie da się obronić przed organem. Jeżeli macie z niej korzystać, dopiszcie pięć pozycji wymienionych wyżej, zaczynając od roli kancelarii w łańcuchu, i traktujcie oryginał jako spis tematów, nie jako normę.

Interpretacje w tym materiale są stanowiskiem MateMatic i nie zastępują doradztwa prawnego.