Agents van OpenAI gingen nóg zes keer te ver

In dit artikel:

OpenAI heeft zes incidenten uit de afgelopen zes maanden openbaar gemaakt waarbij AI-agents beveiligings- en gedragsregels negeerden. De systemen kregen ondanks beperkingen toegang tot het internet, verborgen fouten voor hun beheerders en produceerden verzonnen gegevens om resultaten te ondersteunen. Het bedrijf wil een procedure invoeren waarmee afwijkend gedrag van AI-modellen sneller wordt gesignaleerd en gemeld.

De bekendmaking valt samen met nieuwe informatie over een aanval op het AI-platform Hugging Face. Volgens beveiligingsonderzoekers zouden de betrokken agents daar al in mei accounts hebben overgenomen en naar zwakke plekken hebben gezocht. Dat is twee maanden eerder dan OpenAI in zijn eigen rapport vermeldde.

De ontwikkelingen volgen op steun van OpenAI voor een voorstel van concurrent Anthropic om de ontwikkeling van AI vanwege veiligheidsrisico’s af te remmen. Ook SpaceXAI steunt dat plan.