Anthropic publiceert nieuwe gedragscode voor AI-model Claude

In dit artikel:

Anthropic heeft een herziene constitutie voor zijn AI-model Claude gepubliceerd en vrijgegeven onder een CC0-licentie, zodat iedereen de tekst zonder beperkingen mag gebruiken. De nieuwe versie volgt op een eerste uitgave uit mei 2023, waarvan Anthropic zegt dat die in de praktijk soms tekortschiet: Claude kon veiligheids- en gedragsregels moeilijk toepassen in nieuwe of onvoorziene situaties en produceerde daardoor af en toe ongewenste of onjuiste antwoorden.

In plaats van een losse lijst principes presenteert het bedrijf nu een samenhangend kader met prioriteiten en contextuele uitleg. De constitutie is opgebouwd rond vier kernuitgangspunten die het gedrag van Claude sturen. Kernpunten zijn onder meer dat het model behulpzaam moet zijn en antwoorden moet afstemmen op expliciete wensen van gebruikers (bijvoorbeeld geen code in een andere programmeertaal genereren dan gevraagd), dat het breed veilig gedrag moet vertonen (geen handelingen uitvoeren die expliciet verboden zijn en transparant zijn over besluitvorming), dat het ethisch moet handelen, en dat het aanvullende, meer specifieke instructies van Anthropic moet opvolgen — waaronder richtlijnen tegen jailbreaking en regels voor interacties met externe apps en tools.

Anthropic gebruikt de constitutie direct in de training van Claude: de tekst maakt deel uit van de trainingsdata en wordt ook ingezet om synthetische trainingsvoorbeelden te genereren door gesprekken te simuleren waarin de richtlijnen van toepassing zijn. Klanten en gebruikers kunnen de constitutie raadplegen om te beoordelen of modeloutput overeenkomt met de vastgestelde uitgangspunten en feedback teruggeven aan Anthropic. Het bedrijf benadrukt dat de constitutie een dynamisch document is dat zal evolueren naarmate AI-systemen verder ontwikkeld worden. De stap sluit aan bij een bredere trend: ook andere AI-aanbieders publiceren publiekelijk hun gedragskaders.