Model zna stary przepis, a i tak stosuje nowy. Japoński zespół zmierzył, gdzie to pęka.

Zasada jest stara jak prawo pisane: zdarzenie ocenia się według prawa obowiązującego w chwili, gdy nastąpiło. Po łacinie tempus regit actum. W polskim Kodeksie cywilnym jej druga strona, zakaz wstecznego działania ustawy, stoi w artykule 3. Nikt nie traktuje jej jako zaawansowanej sztuki. To pierwszy filtr, zanim w ogóle zacznie się czytać przepis. Błąd na tym etapie unieważnia całą resztę, bo nawet znakomita analiza złego brzmienia ustawy jest analizą złej ustawy.

Huang i współautorzy nazywają ten filtr zadaniem TALD (temporal applicable-law determination): mając fakty sprawy i datę zdarzeń, wskaż wersję ustawy, która je rządzi. Pytają przy tym o przyczynę: skoro modele tego nie umieją, to dlaczego?

O czym jest ten materiał

Materiałem badawczym są wyroki cywilne z chińskiej publicznej bazy orzeczeń. Chiny mają tu wygodny dla badacza punkt cięcia: 1 stycznia 2021 roku wszedł w życie Kodeks cywilny, który wchłonął wcześniejsze osobne ustawy, między innymi prawo rzeczowe i prawo umów. Sprawy z faktami sprzed tej daty sądy rozstrzygają według starych ustaw, sprawy późniejsze według Kodeksu. Autorzy wyciągnęli z wyroków wyrażeniami regularnymi opis faktów i żądania powoda jako pytanie, a przepis powołany przez sąd jako prawidłową odpowiedź. Wyszło 26 000 spraw, pół na pół w dwóch zbiorach: starego prawa i nowego prawa.

Przebadano dziewięć modeli, każdy w najwyższym dostępnym trybie rozumowania: GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro, DeepSeek-V3.2, GLM-4.7, trzy rozmiary Qwen3 oraz wyspecjalizowany prawniczy LegalOne-8B. W każdym przebiegu model dostaje po 100 losowych spraw z obu zbiorów, przebiegi powtórzono czterokrotnie.

Konstrukcja pracy jest diagnostyczna, krok po kroku wykluczająca kolejne wyjaśnienia. Najpierw pomiar, potem pytanie o wiedzę, potem pytanie o rozumowanie, na końcu hipoteza o mechanizmie. Ta kolejność jest największą zaletą tekstu: każdy krok usuwa jedno wygodne wyjaśnienie, zanim autorzy zaproponują własne.

Recenzja właściwa

Pomiar: błąd ma kierunek

Na zbiorze starego prawa wszystkie modele mają trafność poniżej 0,25. Najlepszy, GPT-5.4 w trybie high, osiąga 0,237. Claude Opus 4.6 w trybie max ma 0,014, czyli myli się praktycznie w każdej sprawie. Na zbiorze nowego prawa te same modele mają od 0,70 do 0,84.

Ważniejsza od samych liczb jest analiza typów błędów. Autorzy dzielą pomyłki na trzy klasy: model powołał nowe prawo zamiast starego, stare zamiast nowego albo coś zupełnie niezwiązanego. Pierwsza klasa to od 69 do 94 procent wszystkich błędów, zależnie od modelu. Odwrotna pomyłka zdarza się rzadko, u kilku modeli wcale. Model trafia więc we właściwą dziedzinę i we właściwą rodzinę przepisów, rozpoznaje, że istnieje wersja dawna i nowa, i wybiera nową. Taki błąd ma kierunek, a błąd z kierunkiem da się przewidzieć.

Jedna uwaga, której autorzy nie robią, a która zmienia odczyt tabeli. Trywialna reguła "zawsze powołuj najnowsze prawo" dałaby wynik bliski zera na zbiorze starego prawa i wysoki na zbiorze nowego. Profil modeli jest do niej łudząco podobny. Dobre wyniki na zbiorze nowego prawa nie są więc dowodem kompetencji. Są zgodne z tym samym odruchem, który na starym zbiorze produkuje błąd.

Wiedza: jest, tylko nieużywana

Pierwsza naturalna hipoteza: model nie zna starych ustaw, bo w danych treningowych dominuje prawo aktualne. Autorzy sprawdzają to dwiema sondami. W pierwszej, na sprawach, w których model wskazał złą ustawę, każą modelowi odtworzyć z pamięci zarówno przepis, który błędnie powołał, jak i przepis właściwy. Odtworzenia są niemal wierne. Gemini osiąga 0,996 zgodności znakowej z oficjalnym tekstem starego przepisu, Claude 0,988, DeepSeek 0,963. Stary przepis nie jest pamiętany systematycznie gorzej niż nowy.

Druga sonda sprawdza wiedzę o regułach międzyczasowych: szesnaście pytań zamkniętych o czasowym działaniu Kodeksu, ułożonych przez dwoje ekspertów prawnych na podstawie wykładni chińskiego Najwyższego Sądu Ludowego. Wszystkie modele przekraczają 0,80, kilka ma 0,94 lub więcej. Claude, który w sprawach myli się niemal zawsze, na abstrakcyjne pytanie o nieretroakcję odpowiada poprawnie w 94 procentach.

Model zdaje egzamin z zasady i oblewa jej zastosowanie. Tego rozjazdu nie wyłapie żaden test wiedzy, bo test wiedzy model zdaje.

Rozumowanie: podpowiedź pomaga, i to mocno

Skoro wiedza jest, autorzy sprawdzają, czy wystarczy ją przywołać. Dokładają do instrukcji systemowej słabą podpowiedź (zwróć uwagę na czas zdarzeń i czasowe działanie prawa) albo mocną (w prawie cywilnym obowiązuje zasada nieretroakcji, sprawdź, czy fakty nie nastąpiły pod rządami poprzedniej ustawy, pamiętaj o wyjątkach). Efekt jest duży. DeepSeek-V3.2 rośnie z 0,092 do 0,436, Qwen3-80B z 0,028 do 0,512, GPT-5.4 z 0,237 do 0,457. Co istotne, podpowiedź działa głównie w trybach rozumowania. Modele bez rozumowania zyskują niewiele, a Qwen3-30B bez trybu myślenia wręcz traci (z 0,292 do 0,164).

Wynikają z tego dwie rzeczy. Po pierwsze, trzy zdania instrukcji zmieniają wynik kilkakrotnie, więc sposób, w jaki narzędzie pyta model, jest częścią produktu, a nie szczegółem wdrożenia. Po drugie, nawet po najlepszej podpowiedzi najlepsze wyniki kręcą się wokół 0,5. Co najmniej połowa spraw ze starym prawem nadal dostaje złą ustawę. Claude Opus 4.6 po mocnej podpowiedzi dochodzi do 0,156.

Mechanizm: hipoteza o zapadnięciu entropii

Najambitniejsza część pracy próbuje wyjaśnić, skąd ten odruch. Autorzy wskazują na uczenie ze wzmocnieniem, którym dostrajane są modele rozumujące. Znane zjawisko w tej technice to zapadanie się entropii polityki: model przestaje eksplorować alternatywne ścieżki rozumowania i coraz pewniej wybiera jedną, najbardziej prawdopodobną. Nowe prawo jest w tekstach częściej obecne i semantycznie bliskie staremu, więc staje się tą najbardziej prawdopodobną ścieżką.

Na poparcie autorzy mierzą entropię tokenów w tych fragmentach łańcucha rozumowania, które dotyczą wersji ustawy: nazw aktów, dat, słów o wejściu w życie i retroakcji. Gdy podpowiedź poprawia wynik, entropia w tych fragmentach rośnie. U Qwen3-30B trafność idzie z 0,020 do 0,450, entropia z 0,315 do 0,462. Autorzy uczciwie nazywają to dowodem behawioralnym, nie przyczynowym, i uczciwie zaznaczają, że pomiar był możliwy tylko na modelach o otwartych wagach. Mechanizm jest więc zbadany na Qwen i LegalOne, a nie na GPT, Claude czy Gemini.

Ten wątek łączy się z tym, co opisaliśmy w TOMIE 002: tryb rozumowania nie jest darmowym ulepszeniem i potrafi pogorszyć konkretną, wąską umiejętność. Tu jednak trzeba być ostrożnym, bo w tej sprawie dane autorów mówią mniej, niż mówi ich streszczenie.

Gdzie ten tekst jest słaby

Teza przelicytowana względem własnej tabeli. Streszczenie ogłasza odwrotną zależność: modele o silniejszym ogólnym rozumowaniu radzą sobie gorzej. Sekcja 5.2.1 dodaje, że w ponad połowie modeli konfiguracje rozumujące wypadają gorzej. Tabela 5 z tej samej pracy tego nie pokazuje. Bez podpowiedzi tryb rozumowania poprawia wynik u DeepSeek (0,013 na 0,092), GLM (0,013 na 0,080) i Qwen3-235B (0,035 na 0,148). GPT-5.4 rośnie monotonicznie z każdym poziomem wysiłku: 0,021, 0,082, 0,196, 0,237. Claude i Gemini stoją w miejscu. Pogorszenie widać u dwóch modeli, Qwen3-80B i Qwen3-30B. Na tym materiale uczciwe zdanie brzmi: więcej rozumowania nie usuwa odchylenia ku nowemu prawu, a u części modeli je pogłębia. To wciąż ważny wynik. Nie jest to jednak prawo odwrotnej proporcji, jakie sugeruje czwarte ustalenie w streszczeniu.

Punkt wyjścia, którego nie widać. Aneks A.1, gdzie powinna stać domyślna instrukcja, pod którą zmierzono wszystkie wyniki bazowe, zawiera zdanie "TODO: Insert the exact base prompt used for law article prediction". Skoro trzy zdania podpowiedzi zmieniają trafność kilkakrotnie, nieznana instrukcja bazowa jest zmienną, od której zależy najmocniej cytowana liczba w pracy. Do tego kod i dane dopiero po przyjęciu do druku.

Liczby, które się nie zgadzają. Qwen3-80B bez podpowiedzi ma 0,028 w tabeli 5 i 0,050 w tabeli 6. Po mocnej podpowiedzi 0,512 w jednej i 0,578 w drugiej. Qwen3-30B po mocnej podpowiedzi 0,395 i 0,450. Metodyka mówi o czterech powtórzeniach, podpis tabeli 6 o trzech losowaniach. Tekst podaje, że siedem z ośmiu modeli ma wynik poniżej 0,15, a w tabeli jest ich dziewięć. Numeracja hipotez przeskakuje z trzeciej na piątą. Każda z tych rzeczy osobno jest drobna. Razem mówią, że to wersja robocza.

Prawda bazowa jest wyrokiem, a nie prawem. Prawidłową odpowiedzią jest przepis, który powołał sąd. Tymczasem sama mocna podpowiedź autorów wylicza wyjątki: korzystną retroakcję, stosowanie nowych przepisów do sytuacji wcześniej nieuregulowanych, powołanie nowego przepisu w toku rozumowania sądu. Część odpowiedzi liczonych jako błąd mogła więc być prawnie do obrony, a część trafień mogła być przypadkiem. Poprawność ekstrakcji dwoje ekspertów sprawdziło wyrywkowo, bez podanego odsetka błędów.

Jedna jurysdykcja, jedna zmiana, jeden kierunek. Materiał to jedna kodyfikacja w jednym kraju, z czystym punktem cięcia. Autorzy sami to zastrzegają. Dla polskiego czytelnika ta czystość jest akurat najmniej reprezentatywną cechą badania, o czym niżej.

Czego autorzy nie powiedzieli, a co musi powiedzieć polski prawnik - interpretacja MateMatic

Pierwsza linia: nie ma jednej reguły międzyczasowej. Chiński materiał pozwala sprowadzić problem do pytania "stare czy nowe". Polska praktyka ma co najmniej trzy reżimy. W prawie cywilnym materialnym artykuł 3 Kodeksu cywilnego mówi, że ustawa nie ma mocy wstecznej, chyba że wynika to z jej brzmienia lub celu. W prawie karnym artykuł 4 paragraf 1 Kodeksu karnego każe stosować ustawę nową, a dawną, jeżeli jest względniejsza dla sprawcy. W procedurze co do zasady nowe przepisy stosuje się od razu do toczących się postępowań, chyba że przepisy przejściowe stanowią inaczej. Podpowiedź "pamiętaj o nieretroakcji", która w tym badaniu podnosi wynik, w sprawie procesowej wprowadziłaby model w błąd w przeciwnym kierunku. Z pracy wynika, że instrukcja pomaga. Nie wynika, że jedna instrukcja wystarczy na cały system prawa.

Druga linia: odpowiedź bywa hybrydą. Nowelizacja Kodeksu cywilnego z 2018 roku skróciła ogólny termin przedawnienia z dziesięciu do sześciu lat. Do roszczeń powstałych wcześniej i jeszcze nieprzedawnionych przepis przejściowy każe stosować nowe przepisy, ale z własną regułą liczenia biegu terminu. Prawidłowa odpowiedź nie brzmi "stare" ani "nowe", tylko "nowe, liczone według przepisu przejściowego ustawy zmieniającej". Benchmark zero-jedynkowy tego nie mierzy, a w polskiej praktyce takie przypadki są codziennością każdej większej nowelizacji.

Trzecia linia: wersji nie ustala się rozumowaniem, tylko odczytem. Która wersja przepisu obowiązywała danego dnia, to pytanie o fakt zapisany w Dzienniku Ustaw: data wejścia w życie ustawy zmieniającej i jej przepisy przejściowe. Da się to odczytać mechanicznie z tekstów jednolitych i ustaw nowelizujących. Model językowy nie powinien tego zgadywać z pamięci, powinien dostać właściwe brzmienie od systemu, obok faktów sprawy. Wynik tej pracy jest mocnym argumentem za takim podziałem ról: model, który zna stary przepis i zna zasadę, i tak wybiera nowy, nie jest właściwym miejscem na tę decyzję. Ten sam wniosek, od strony wyszukiwania, wyciągnęliśmy w TOMIE 072: tam, gdzie reguła jest znana, reguła wygrywa z modelem.

W Repertorium robimy to w węższym zakresie i warto powiedzieć, w jakim. Przy każdym powołaniu przepisu w orzeczeniu pokazujemy ostrzeżenie, jeżeli ten przepis zmieniano po dacie wyroku. Liczymy je mechanicznie z ustaw nowelizujących, bez modelu językowego. To ostrzeżenie, a nie tekst historyczny przepisu, a brak ostrzeżenia nie znaczy, że przepis jest aktualny. Problem opisany w tej pracy rozwiązuje ono tylko w jednym kierunku: mówi, że grunt się ruszył, nie mówi, jak brzmiał wcześniej.

Czwarta linia: odpowiedzialność nie przechodzi na narzędzie. Autorzy zamykają pracę zastrzeżeniem, że wynik modelu musi zweryfikować wykwalifikowany prawnik. Dla polskiej kancelarii to zastrzeżenie opisuje po prostu stan prawny. Opinia oparta na brzmieniu ustawy niewłaściwym dla daty zdarzenia, choćby obowiązującym dziś, jest błędem w sztuce prawnika, który ją podpisał, niezależnie od tego, jakie narzędzie podsunęło przepis. Kontrola wersji musi więc być krokiem w procedurze pracy nad sprawą, a nie nadzieją, że model o niej pamięta.

Co z tego wynika

Praca daje kancelarii rzadki rodzaj wyniku: nazwany błąd o znanym kierunku, zamiast ogólnego "modele się mylą". Wiemy, w którą stronę model się pomyli, gdy się pomyli. To pozwala zbudować test, który zajmie pięć minut.

Test dla dostawcy, który ta praca uzasadnia (interpretacja MateMatic). Weźcie sprawę, w której fakty poprzedzają znaną nowelizację, na przykład roszczenie z umowy zawartej przed lipcem 2018 roku i pytanie o przedawnienie. Dobra odpowiedź nazywa nowelizację i jej przepis przejściowy. Zła podaje sześć lat i na tym kończy. Druga próba: pytanie procesowe w sprawie wszczętej przed dużą nowelizacją Kodeksu postępowania cywilnego z 2019 roku, której przepisy przejściowe co do zasady każą stosować przepisy nowe, z listą wyjątków. Tu dobra odpowiedź idzie w przeciwną stronę niż przy przedawnieniu. Jeżeli narzędzie w obu przypadkach odpowiada tą samą regułą, to znaczy, że stosuje jedną podpowiedź do wszystkiego. Trzecie pytanie, już do dostawcy, a nie do modelu: skąd system bierze brzmienie przepisu w dacie zdarzenia, z bazy wersji czy z pamięci modelu.

Wniosek z mechanizmu jest równie praktyczny. Jeżeli badania nad zapadaniem entropii się potwierdzą, następne, silniej dostrojone do rozumowania generacje modeli nie wyleczą tego odruchu same. Może być odwrotnie. Wtedy jedynym stabilnym rozwiązaniem jest to, które nie zależy od generacji modelu: wersja ustawy ustalona poza modelem i podana mu jako dane.

Wnioski dotyczące polskiego prawa, praktyki kancelaryjnej i odpowiedzialności zawodowej są interpretacją MateMatic, nie stanowiskiem NRA ani KRRP. Autorzy badali wyłącznie prawo chińskie.