For unøyaktig: OpenAI fjerner ChatGPT-detektoren sin

Rett før OpenAI og andre ble enige om å finne metoder for å identifisere AI-generert innhold, stengte de den kanskje beste detektoren som finnes.

OpenAI, som står bak ChatGPT, hadde håpet å kunne motvirke tilfeller der AI-skrevet tekst ble presentert som menneskeskrevet, og å bidra til å felle forsøk på å spre feilinformasjon.

Nå innrømmer de i praksis at det er for vanskelig å oppdage AI-generert tekst.

Tok ofte feil, men var en av de beste
Da teknotum hurtigtestet AI-detektorer i februar, fant vi at den riktignok var den beste detektoren der ute, men den kunne lures med enkel redigering.

I mellomtiden har det oppstått et hel industri av ChatGPT-detektorer som med varierende hell forsøker å oppdage AI-tekster, men alle har sine mangler og alle kan lures av enkel redigering.

Nå er har detektoren blitt erstattet med et useremonielt «siden ble ikke funnet»-oppslag, og det eneste OpenAI har lagt ut er en liten notis på den originale bloggsiden som annonserte verktøyet.

Der heter det at «Fra og med 20. juli 2023 er detektoren ikke lenger tilgjengelig på grunn av den lave nøyaktigheten.»

Detektoren hadde en nøyaktighet der den kunne identifisere 26% av AI-skrevne tekster på engelsk, mens den feilklassifiserte menneskeskapt innhold 9% av tiden, i følge OpenAI selv.

Undersøker mer effektive teknikker
— Vi jobber med å behandle tilbakemeldinger og undersøker nå mer effektive opprinnelsesteknikker for tekst, skriver de videre, og legger til at de har «forpliktet oss til å utvikle og frembringe mekanismer som gjør brukerne i stand til å forstå om lyd- eller visuelt innhold er AI-generert.»

Et par dager snere skulle selskapet møte i Det hvite hus for å skrive under en avtale der de blant annet forpliktet seg til å «utvikle robuste tekniske mekanismer for å sikre at brukerne vet når innhold er AI-generert» som denne meldingen ser ut til å stadfeste.

Vanskelig å vannmerke tekst
Det går antakelig greit med bilder og lyd, men det er langt mer komplisert å føre inn for eksempel vannmerker i ren tekst, som ganske enkelt kan redigeres ut, men her sier OpenAI at de «undersøker» metoder for også å identifisere tekst.

— Arbeidet vårt med å detektere AI—generert tekst vil fortsette, og vi håper å kunne dele forbedrede metoder i fremtiden, står det i den originale bloggposten.

Les også: Ny avtale: Nå skal AI-innhold identifiseres, vannmerkes, Ny forskning oppdager ChatGTP med 99% nøyaktighet.

Les mer: OpenAIs bloggpost, Decrypt.co oppdaget det først, Ars Technica: Bakgrunn.