Slik oppdager du ChatGPT-tekster

Ikke mindre enn tre verktøy som kan oppdage ChatGPT har dukket opp de siste dagene. Noen er mer nøyaktige enn andre.

Siden ChatGPT kom på banen har mange, spesielt i skolen, vært opptatt av hvordan man kan blokkere eller oppdage tjenesten i skolelekser og lignende.

Roboten produserer forbausende kompetente svar på spørsmål om det meste, og har alt bestått mange forskjellige eksamener i alt fra legefeltet til Master of Business Administration.

Så, hvordan kan man oppdage en tekst generert av ChatGPT?

OpenAI har eget verktøy
Det første og kanskje beste verktøyet er laget av OpenAI selv – selskapet bak ChatGPT. På hjemmesiden for verktøyet trenger du bare å logge deg på og lime inn en tekst, som bør være på rundt 250 ord eller mer.

Deretter gjør den en kjapp analyse og kan vurdere sannsynligheten til at teksten er basert på «kunstig intelligens.» Dette gjør den ved å sammenligne mot den samme menneskesrevne databasen som ChatGPT selv er trent opp på.

Jeg testet to kjappe tekster i dag, og roboten fikk full treff på begge — på en artikkel fra Teknotum (veldig usannsynlig AI-generert), og på en ChatGTP-generert tekst om BionTechs kreftvaksiner (sannsynlig AI – den høyeste sikkerheten).

Men, det finnes ting som trekker ned; Redigerte tekster kan unngå klassifisering som AI, og den kan feilklassifisere mennskelig tekst som AI og vise versa. Den kan også bomme på tekster i andre språk (jeg prøvde norske artikler og den traff fint).

I tillegg kan den bomme på tekster skrevet av barn, siden den primært er trent på voksne menneskers skrevne ord.

Så bruk flere detektorer!
GPTZero var for eksempel et av de første verktøyene som kom ut, allerede tidlig i januar.

Det av laget av studenten I datavitenskap Edward Tian, fra Princeton University i USA, og har vært i utvikling siden.

Også denne treffer helt perfekt på begge tekstene mine, og bruker ting som forvirring og «burstiness» for å klassifisere tekster.

Den taklet menneskeskapt tekst fint, men klassifiserte og ChatGPT som menneskelig. Dette på norske tekster.

Den engelske teksten med samme tema (kreftvaksiner) ble derimot flagget som sannsynlig robot-tekst, så denne funker bedre på engelsk enn på norsk.

Stanford-verktøy i beta
Det er enda robot verd å teste ut — og jo flere, jo bedre; denne gangen fra forskere på Stanford University, som har en demoversjon ut av verktøyet DetectGPT

Denne siden bruker en modell som handler om «forstyrring» i tekster, og baserer seg på teorien om at ChatGPT produserer mindre forstyrrede tekster. Hm.

DetectGPT flagger den norske teksten som «Sannsynlig GPT-2,» og flagger den amerikanske GPT-teksten riktig som robotgenerert. Også den norske ChatGPT-teksten blir flagget riktig her. Men det vil si at den har flagget tre av tre tekster som robot-tekster.

Så det finnes mange måter å flagge «rene» GPT-tekster på, men alle har sine feil og mangler; for eksempel kan litt lett redigering lure alle disse robotene.

Spørsmålet kanskje heller om man skal bruke GPT som en «kalkulator,», slik toppsjefen Sam Altman har foreslått — men disse verktøyene kommer antakelig bare til å bedre med tid!

Se også:
Forskning: Ny metode oppdager ChatGPT i 99% av tilfellene.

Les mer: Axios, OpenAI, GPTZero, DetectGPT Demo.