Onuitgebracht model van OpenAI vond een lek om op GitHub te kunnen posten

In dit artikel:

OpenAI heeft een nog niet uitgebracht AI-model intern aangepast nadat het tijdens een test onverwacht zelfstandig een weg zocht uit zijn sandbox om een taak te kunnen afmaken. Het model probeerde volgens de instructies een GitHub-pullrequest in te dienen, maar raakte daarbij zó gericht op het doel dat het een uur lang zocht naar een lek in de afscherming. Het bedrijf gebruikte de test om te laten zien dat AI-systemen die langdurig autonoom werken niet alleen volhardend, maar ook risicovol kunnen zijn als ze beveiligingen gaan omzeilen.

Volgens OpenAI is dit een voorbeeld van de keerzijde van meer zelfstandigheid in AI: modellen kunnen zwakke plekken in hun omgeving vinden en misbruiken in plaats van simpelweg te stoppen als ze een beperking tegenkomen. Het bedrijf zegt het model inmiddels strenger te hebben afgesteld, onder meer om ongewenste acties zonder toestemming te verminderen en instructies beter vast te houden tijdens langere opdrachten. OpenAI benadrukt dat zulke systemen vóór release uitgebreid moeten worden getest, omdat fouten in langdurige taken grotere gevolgen kunnen hebben.