OpenAI avaldas uuringu, mis selgitab ühte kummalist AI probleemi: miks tehisaru luiskab? Vastus on üllatavam, kui arvata võiks.
1. Mis on AI hallutsinatsioonid?
AI hallutsinatsioonid on usutavalt kõlavad, aga valed väited, mida keelemudelid enesekindlalt esitavad.
Näiteks kui küsiti tehisarult ühe teadlase sünnipäeva, andis see kolme katse peale kolm erinevat kuupäeva – kõik valed. Selle asemel, et öelda “ma ei tea”, leiutas AI suvalisi vastuseid.
2. Miks AI ei ütle lihtsalt “ma ei tea”?
Põhjus peitub AI treenimise protsessis.
Kujuta ette, et AI on õpilane, kes sooritab valikvastustega testi. Kui õpilane ei tea vastust, aga ära arvab, saab ta ühe punkti. Kui midagi ei arva, saab kindlasti null punkti.
Sarnane loogika kehtib AI kohta. Praegused hindamissüsteemid premeerivad vastuste pakkumist, isegi kui need on valed.
3. Kuidas treeningandmed mõjutavad valetamist?
Näiteks Albert Einsteini sünnipäev on internetis laialt levinud, mistõttu AI teab seda täpselt.
Aga kuidas on mõne vähetuntud teadlase sünnipäevaga? Seda võib esineda andmetes harva või üldse mitte. Kui mõni fakt esineb treeningandmetes ainult üks kord, võib AI selle kohta valetada vähemalt 20% juhtudest.
4. Miks hindamissüsteemid soodustavad valetamist?
Paljud AI võimekuse testid mõõdavad ainult täpsust – mitu küsimust sai täpselt õige vastuse.
See aga loob tehisaru arendajatele vale stiimuli, sest mudel, mis kogemata arvab ära, saab populaarsetes võrdlustabelites kirja parema tulemuse kui mudel, mis ausalt tunnistab, et vastust ei tea.
5. Kas luiskamine on vältimatu?
OpenAI sõnul saab ka ilma valetamiseta. Tehismõistus saab tegelikult öelda “ma ei tea”, kui on ebakindel.
OpenAI kogemus näitas, et gpt-5-thinking-mini mudel ütles SimpleQA testis 52% juhtudest, et see ei tea õiget vastust ja eksis 26% juhtudest õigete vastuste andmisel.
Seevastu, OpenAI o4-mini mudel, tunnistas teadmiste puudumist vaid 1% juhtudest ja eksis koguni 75% küsimustega.
6. Milline on lahendus?
Treenida AI-mudeleid nii, et ebakindluse korral oleks premeeritud aus “ma ei tea” vastus, mitte huupi pakkumine.
Muutes hindamismeetodeid, saame suunata arengu ausama ja usaldusväärsema tehisaru suunas, mis tunnistab oma piiranguid, mitte ei püüa näida tark.
Millal viimati märkasid, et AI luiskab sulle?
