Epoch AI har testat de tre ledande detekteringsverktygen – Pangram, GPTZero och Originality.ai – och resultatet är relevant för hela debatten om AI-anklagelser mot författare (som i Commonwealth Prize-fallet jag skrev om förra veckan). Slutsatsen: verktygen fångar nästan all text som genererats från ett enkelt prompt, men missar ungefär en av fem AI-passager som är specifikt instruerade att efterlikna en given författares stil.
Det betyder att detektorerna är som bäst mot lat, generisk AI-text – och som sämst just mot den typ av AI-användning en seriös författare faktiskt skulle använda: att styra AI:n mot en specifik röst eller stil. En separat studie från Reuters Institute pekar åt samma håll: detektering är betydligt pålitligare på stora textmängder än på enskilda artiklar eller noveller.
Slutsatsen är dubbelbottnad och värd att sitta med. Å ena sidan: om du använder AI-stöd på ett sätt som är genomtänkt och stilmedvetet, är du statistiskt mindre sannolik att bli flaggad felaktigt av ett verktyg som Pangram – vilket borde lugna dig något. Å andra sidan: det betyder också att de mest sofistikerade AI-slop-producenterna, de som faktiskt bemödar sig om att härma en riktig författares röst, är precis de som slinker igenom filtren. Detekteringsverktygen straffar alltså ironiskt nog mest de som är sämst på att dölja sitt AI-bruk – inte de som är bäst på att missbruka det.
Källa: Epoch AI – Jaeho Lee