Banka pokrýva 38 oblastí praxe — DPH, daň z príjmov, mzdy a odvody, správu daní, účtovné predpisy, e-commerce aj medzinárodné zdaňovanie. Triviálne otázky typu „aká je sadzba DPH“ v nej zámerne nie sú. Každá musela prejsť testom „pomýlil by sa na tom aj skúsený účtovník?“ — prechodné ustanovenia noviel, hospodárske roky, hraničné prahy, výnimky z výnimiek, lehoty s posunom na pracovný deň.

Každá otázka má povinne päť častí: znenie v odbornej aj „ľudskej“ podobe, správnu odpoveď s kľúčovými hodnotami, presné ustanovenie (paragraf a odsek), doslovný citát predpisu a funkčný odkaz na oficiálny zdroj.

Kvalitu sme nestrážili jedným párom očí. Každú vygenerovanú otázku preveril iný systém než ten, ktorý ju vytvoril; náhodná vzorka každej vlny prešla ešte jednou kontrolou navyše; a pred zverejnením prešla celá banka adverzariálnym auditom so zadaním „predpokladaj, že chyba tam je, a nájdi ju“. Audit preveroval sedem vecí v pevnom poradí: či nie je chybný už predpoklad otázky, či uvedený paragraf a odsek existuje a upravuje to, čo otázka tvrdí, či je citát doslovný, či odkaz vedie na oficiálny zdroj, či znenie platí k dnešku, či sedí aritmetika a či má otázka jedinú obhájiteľnú odpoveď.

938 otázok obstálo bez zmeny, 128 sa na základe nálezov opravilo a 0 muselo byť zamietnutých.

Všetky tri systémy dostali tie isté otázky v tom istom znení a ich odpovede posudzoval ten istý nezávislý AI model, nastavený deterministicky. Rubrika je zámerne prísna a pre všetkých rovnaká: nesprávne právne odôvodnenie znamená nesprávnu odpoveď, aj keď výsledné číslo náhodou sedí. Pre účtovníka je to jediné zmysluplné kritérium — odpoveď opretá o zlý paragraf neobstojí pred kontrolou ani vtedy, keď suma vyšla správne.

Sporné verdikty prešli druhou kontrolou u všetkých systémov rovnako: každé zlyhanie posúdili tri nezávislé perspektívy a pri nezhode rozhodol arbitrážny model. Konkurenčné odpovede to nezmenilo ani raz, naše v desiatich prípadoch — ich chyby boli jednoznačné, naše hraničné.

Detail, ktorý celé meranie vysvetľuje: vo všetkých troch prípadoch pracoval ten istý jazykový model. Raz „holý“, raz s vyhľadávaním Google a raz ako motor našej aplikácie. Rozdiel 36,7 % verzus 94,5 % teda nerobí lepšia umelá inteligencia, ale podklady: overená databáza slovenských predpisov v aktuálnom znení, referenčné hodnoty s dátumom účinnosti a povinnosť doložiť odpoveď citátom zákona. Vyhľadávanie nájde článok — pokojne aj tri roky starý. Databáza dá zákon.

Pre úplnosť: meraná zostava ešte nemala nástroje, ktoré zákazník v aplikácii dostáva navyše — kalkulačku, posun lehôt na pracovný deň a kontrolu odpovede pred odoslaním. Výsledok teda opisuje databázu predpisov a referenčné hodnoty samotné.

Prvé meranie celej banky našlo 174 našich chybných odpovedí. Každú sme rozobrali na koreňovú príčinu a opravili — 113 nových overených referenčných hodnôt, 16 nových právnych zdrojov v databáze, nové pravidlá pre prácu s prechodnými ustanoveniami a výpočtami.

Audit pritom odhalil aj vadu, ktorá by sa inak nikdy neukázala: časť rozhodujúcich pravidiel sa pri zostavovaní podkladov pre AI orezávala, takže sa k modelu vôbec nedostala. Opravené — a odvtedy to stráži automatický test. Po opravách klesol počet chybných odpovedí zo 174 na 59.

Transparentnosť sa preverila hneď v deň zverejnenia: v banke sa našla jedna chybná „správna odpoveď“ — pri zdravotnom poistení z ostatných príjmov prehliadala prechodné ustanovenie § 38ezk zákona č. 580/2004 Z. z. Otázku sme opravili a prehodnotili tým istým sudcom pre všetky systémy naraz; verdikt sa pritom otočil na správny nielen nám, ale aj všeobecnej AI s vyhľadávaním.

Každá nájdená chyba je lacnejšia počas testu než u zákazníka. Test preto nie je jednorazová akcia, ale stály kontrolný mechanizmus: meraj → oprav → meraj znova. A keďže zverejňujeme celý protokol — otázky, odpovede všetkých troch systémov aj verdikty sudcu vrátane našich zlyhaní — ktokoľvek si každé tvrdenie overí klikom do zákona.

Kto chce pekné číslo, spraví si ukážku s desiatimi otázkami. Tisíc otázok sa vybrať nedá.