Forsking: Ny metode oppdager ChatGPT i 99% av tilfellene

Hvis du har prøvd å avsløre ChatGPT med noen av de nåværende metodene, har du nok blitt frustrert – ingen av dem er gode nok, og de kan feies av banen med litt enkel redigering.

Nå har forskere ved University of Kansas derimot kommet frem til en metode som oppdager språkmodellen med forbausende effektivitet — og de skal legge ut både metoden og koden slik at alle kan lage sin egen versjon.

—Akkurat nå er det noen ganske store problemer med skriving fra kunstig intelligens, sier Heather Desaire, forfatteren av rapporten og en professor ved University of Kansas, til EurekAlert.

— Et av de største problemene er at de samler tekst fra mange kilder uten at det finnes noen slags nøyaktighetssjekk — det er som et spill med to sannheter og en løgn, legger hun til.

Kan tilpasses av en skoleelev
Den nye modellen er finslipt til å fungere på akademiske rapporter, men det skal være mulig å tilpasse den til andre skrivemoduser, som for eksempel skolelekser.

Dette må du må imidlertid gjøre selv, men det skal være enkelt å gjennomføre.

— Vi har forsøkt å skape en tilgjengelig metode, som gjør at selv en videregående skoleelev skal kunne bygge en AI-detektor med liten veiledning, sier Desaire.

20 parametre er nok
Det er nemlig et par klassiske tegn på ChatGPT-tekster, som at det er lite med kildehenvisninger og ofte faktafeil, samt få henvisninger til andre verker eller personer.

ChatGPT bruker også sjelden kvalifiserende ord, som «men,» «på den andre siden,» «derimot,» og «selv om.»

Modellen bruker derfor er en slags språdeteksjon, og ser på ting som setningslengde, kompleksitet og bruken av skilletegn, og trenger bare tyve parametre for å skille ut AI-tekster.

Den trenger derfor ikke å trenes opp på millioner av skrifter for å bygge opp en «konkurrerende» kunstig intelligens.

Sjekket Science-artikler
For å sjekke om modellen fungerte, brukte forskerne vitenskapelige artikler fra magasinet Science til å generere tusenvis av GPT-tekster.

De fant at 94% av avsnittene i tekstene ble klassifisert riktig, mens den var på 100% for 180 eksempler av hele tekster.

Forskningsrapporten er nokså detaljert, og kan leses her. Der finner du også en eksempelkodesnutt, og kontaktinformasjon til forskerne som kan hjelpe deg med å bygge din egen modell.

Det vil antakelig kreve litt ekstra jobb og oversetting av koden for å få den til å fungere på norsk, og det skal antakelig en ekspert til for å gjøre denne jobben.

Men hvis du er en koder på jakt etter en utfordring, er det nok mange skolelærere som vil takke deg for innsatsen.

Ikke en ferdig fiks
Det skal derimot fortsatt være mulig å komme seg rundt denne nye detektoren med enkle redigeringer av teksten, men modellen fungerer altså på avsnittsnivå med 99% prosents nøyaktighet, så det må nesten være et originalt verk av redigeringer for å vinne frem.

Forskerne peker dessuten på at det finnes et våpenkappløp mellom detektorer og «intelligenser,» og at de testet modellen på GPT 3,5.

Det finnes allerede en versjon 4.0 som ikke er testet, og det er mulig at man kan få GPT til å «etterligne» en bestemt vitenskapelig publikasjon — som kanskje kan gjøre det lettere å omgå oppdaging av denne modellen.

Så det er et stykke igjen å gå. Både for å få til en norsk versjon av modellen, og for å finpusse den til å bli enda bedre på generelle tekster.

Den første forskningen er bare for å etablere konseptet, mens resten er for å bygge et skikkelig produkt — som vi ikke vet når er klart.

Les også: Oversikt over tilgjengelige verktøy for å oppdage ChatGPT.

Les mer: Gizmodo, EurekAlert!, selve rapporten.