teknotum
Skip to content

Teknotum

OpenAI går tom for treningsdata: — Snart er alt syntetisk

Snart blir robotene trent opp av andre roboter, men kan de unngå modellkollaps? (Bilde: Radio Saigón, (CC BY 2.0.)
Nå som generative AI-er har skrapt opp hele nettet, er de i ferd med å gå tom for treningsdata, og mye av det nye er generert av kunstige intelligens selv.

Dette har en del åpenbare farer, ettersom AI-er har en tendens til lemfeldig omgang med fakta og ofte «hallisunerer» — men det finnes en del spesialiserte firmaer der ute som tilbyr “syntetisk” AI-til-AI-trening.

Det er derimot få tegn til at OpenAI bruker syntetisk data i trengingen av for eksempel ChatGPT 5 enda, utenom en og annen jobbannonse.

Tidligere i sommer kom det en forskningsrapport som beskrev «modellkollaps,» som er det som skjer når kunstige intelligenser trener på stadig mer degenererende innhold.

Det fører til at faktaene og hallusinasjonene forplanter seg gjennom treningsdataene og så til produksjonen til «intelligenser» og fører til stadig dårligere svar.

Synkende ytelse i ChatGPT
I følge ny forskning kan det allerede være tegn til dette i de siste versjonene av ChatGPT.

Denne viser at modellen har blitt stadig verre på å identifisere primtall, løse matteproblemer og å svare på sensitive spørsmål.

Dette skal bekrefte flere anekdotiske klager om ChatGPTs forfall, på forskjellige Internett–foraer.

Trenger ikke være modellkollaps
Det er imidlertid ikke nødvendigvis modellkollaps som er årsaken til dette, det kan også være at OpenAI «distillerer» modellen for å bruke mindre prosessorkraft og øke farten, eller det kan være at de tilpasser modellen for å redusere skadelige svar.

OpenAI sier selv at de er klar over den nye forskningen og at de følger med på rapporter om redusert ytelse i ChatGPT 4:

— Teamet er klar over de rapporterte regresjonene, og ser nærmere på det, tweetet OpenAIs sjef for utviklerrelasjoner, Logan Kilpatrick.

Går tom for treningsmateriale
Det er likevel et problem at kunstige intelligenser er i ferd med å gå tom for treningsdata, etter å ha skrapt opp mesteparten av det publiserte materialet fra Internett og andre kilder.

Løsningen på dette skal være å trene opp språkmodellene på spesialiserte data produsert av andre modeller, altså AI-til-AI-opplæring basert på «syntetiske» samtaler mellom modeller;

— Nokså sikker på at all data snart vil være syntetisk data, sa Sam Altman i mai, i følge Financial Times.

For å bli enda bedre enn de er nå, trenger nemlig generativ AI mer spesialert informasjon, ikke bare generelt tullball og nyheter fra nettet.

Trenger ekspert-innhold
Behovet er for innhold fra eksperter som vitenskapsfolk, leger og ingeniører, eller innhold fra legemiddelinstrien, banker eller for eksempel detaljhandelen.

Men menneskeskapt ekspertise kan være veldig dyrt; og det er her «syntetisk» data kommer inn i bildet.

Ett tilfelle kan for eksempel være en en diskusjon mellom to AI-modeller som diskuterer trigonometri, der samtalen blir brukt til å trene opp en tredje modell.

Andre tilfeller kan være for banker som trenger å forstå uventede markedshendelser, og her kan to modeller undersøke disse tusenvis av ganger, sondere ut forskjellige utfall fra mange forskjellige vinkler — og bedre spå utfallet av dem.

Dette kan så brukes til å trene nye modeller, altså maskinlært maskinlæringsdata, og kunstige intelligenser som trener kunstige intelligenser.

Det er imidlertid uklart hvordan man kan unngå modellkollaps hvis dette ikke gjennomgås nøye av mennesker på forhånd, som vil si at man fortsatt vil trenge eksperter til å dobbeltsjekke produksjonen i disse scenariene.

Les også: Hva skjer når AI spiser seg selv?, Forfattere til AI-sjefene: Slutt å bruke stoffet vårt uten tillatelse

Les mer: Ars Techica: ChatGPT-ytelsen faller, Financial Times: AI trener AI.

Author Tor FosheimPosted on 21. July 202312. August 2024Tags AI, bard, chagpt

Post navigation

Previous Previous post: Nettet flommer over av ChatGPT — men hva skjer når den spiser seg selv?
Next Next post: Associated Press: Generativ AI er en uverifisert kilde

You might also like

ChatGPT debuts shopping and product reviews

Microsoft: 81% of SMBs see 2025 as pivotal year for AI at work

Google’s Gemini reaches 350 million monthly users

OpenAI expects positive cash flow, $125 billion in sales by 2029

Anthropic: Virtual employees will arrive next year

Meta AI’s new Llama 4 app has access to Facebook, Instagram

From the front page

Every chip designer will have a thousand AI agents, says Jensen Huang

07:45 18 May 2025

OpenAI debuts Codex, an AI coding agent, further disrupting the software industry

07:36 17 May 2025

Meta delays flagship Behemoth model due to performance issues

10:06 16 May 2025

Google unveils AlphaEvolve, an AI model for algorithm discovery

08:24 15 May 2025

ChatGPT 4.1 now available in the app and web

09:40 15 May 2025

Adobe AI airplanes anthropic apple bard biontech cancer chatgpt climate coding copyright defense drones energy facebook film game gemini google images instagram internet iphone llama media meta Microsoft military netflix nuclear openai playstation romfart science search sony sosiale medier streaming test TV twitter vaccines Xbox zuckerberg

Meta

  • Log in
  • Entries feed
  • Comments feed
  • WordPress.org
Teknotum Proudly powered by WordPress