Inteligență Artificială & LLM

Pangram vede 99% IA în romanul premiat „Where Water Works”. Problema este aceeași ca întotdeauna: nu există detector infailibil

Pangram vede 99% IA în romanul premiat „Where Water Works”. Problema este aceeași ca întotdeauna: nu există detector infailibil

Romanul 'Where water works' a câștigat în iulie primul La bazele sale, o condiție foarte clară: participarea presupunea declararea că lucrarea nu a fost scrisă parțial, nici total, nici cu instrumentul AI. În cazul oricărei indicații sau suspiciuni, lucrarea ar fi descalificată indiferent de faza procesului. 

Ei bine, după publicarea sa în septembrie și în prezentare completă în Spania, autorul peruan David Silva Rojas, editorul și juriul concursului (care a lăudat folosirea tăcerilor și construcția sa) au fost loviți de scandal: El País a dezvăluit întreaga carte care, după ce a depistat, a descoperit întreaga carte. href="https://www.pangram.com/">Pangram, romanul premiat conține 99% text generat de AI.

Ce este Pangram și ce promite

În primul rând, prezentările: Pangram este un clasificator de text bazat pe rețele neuronale care încearcă să distingă dacă un text este realizat de un om sau de un model de limbaj. Under the hood, o tehnică de antrenament menită să reducă falsele pozitive și care, potrivit autorilor săi, nu discriminează persoanele care nu sunt vorbitori nativi de engleză, folosește indicații în oglindă și, de asemenea, discerne pe secțiuni.

Pangram Labs, compania din spatele ei și interesată în principal ca detectorul său să fie fiabil și, de asemenea, se pare, vorbește despre 0,0041% fals pozitive și 0,34% fals negative. Un studiu independent de la Universitatea din Chicago a comparat Pangram cu alți detectoare comerciale și a ajuns la o concluzie: Pangram este mai puțin probabil decât restul să clasifice textul uman drept AI.

Metoda de detectare

Experimentul El País nu vine de nicăieri și nu folosește doar „Unde funcționează apa”: ca Kiko Llaneras și unul din profilul său, spun motoarele de date din articolul său. X/Twitter, 175 de hit-uri au trecut prin Pangram și rezultatele detectorului sunt șocante: 4 din 10 bestselleruri auto-publicate pe Amazon au cel puțin 25% scris cu AI.

Metoda lor de control are trei controale: au folosit 56 de cărți din 2019 - 2020, adică înainte de ChatGPT (celălalt BC), care a dat 0% AI, texte sintetice realizate cu AI pe care detectorul le-a identificat ca atare și altele de către autori consacrați precum Javier, Antonio, Allen, Muño, etc. 0%. Calibrarea promite.

"Nu a fost un exil, nici un refugiu": romanul la modă francofonă este acuzat că a fost scris cu AI
"Nu a fost un exil, nici un refugiu": romanul la modă este scris cu IA la modă

Umbra unei îndoieli

Pentru a parafraza filmul lui Hitchcock, să te îndoiești de un detector AI este încă o idee bună deocamdată. Există dovezi serioase care arată limitele detectorului: dacă un test uman trece printr-un AI de consum și îl modifică substanțial, Pangram i-a etichetat drept oameni în 41% din cazuri. Și o realitate a sectorului: OpenAI a ajuns să se retragă, deși detectorul său are o rată scăzută de succes, deși recunoaște un alt nivel de succes, deși acesta are o rată scăzută de succes nu se lansează pe piață.

Ziarul însuși recunoaște că Pangram nu este infailibil și, în plus, oricine poate obține detectorul și încerca să-l gâdilă. Ángel L. Fernández Recuero explica pas cu pas în Jot Down cum un simplu spațiu adăugat unui text modifică verdictul. Celebrul arhitect și popularizator Pedro Torrijos a pus-o la încercare luna trecută, când suspiciunea a fost ridicată cu romanul la modă de limbă franceză, lăsând-o la înălțimea textului simplu. Este adevărat că textul are aproximativ o pagină (cu un eșantion mai mic, este mai greu de detectat), dar merită să citești cu atenție experimentul său variind câteva cuvinte.

Captură de ecran 2026 10 24 La 9 57 46 Firul lui Pedro Torrijos nu este irosit: de la 100% uman la 100% AI prin schimbarea doar a două propoziții

Problema de bază

Un procent, chiar și 99%, nu reprezintă o dovadă a dreptului de autor. Deși evident că ridică suspiciuni și inițiază măcar o anchetă și solicită proiecte de proiect. La urma urmei, aceste sisteme estimează probabilitatea ca un text să fi fost generat cu AI, dar nu spun ce rol a jucat persoana respectivă și care mașină: este posibil ca lucrarea să fi fost scrisă sau corectată de AI sau AI poate să fi creat intrigi sau personaje.

Linia este fină și uneori neclară. Există un caz extrem care nu este mașină-uman, ci uman-uman: cel al memoriilor lui Agassi, pe care jurnalistul J. R. Moehringer l-a scris Un cercetător s-a săturat de textele scrise cu IA și a creat un detector care promite o acuratețe de 98%

În investigația noastră tehnică | Anthropic explică cum funcționează noul filigran al lui Claude: nu se vede, nu se vede, nu se vede și nu se vede. nu dovedește nimic

Copertă | ChatGPT


Partajează acest dosar: