Anthropic start instituut voor AI-risico's
In dit artikel:
Anthropic richt het Anthropic Institute op, een nieuw onderzoekscentrum dat zich toelegt op de maatschappelijke, economische en veiligheidsgevolgen van steeds krachtiger wordende AI. Het initiatief brengt drie bestaande interne teams samen onder leiding van medeoprichter Jack Clark, die daarnaast een nieuwe functie krijgt als hoofd publieke belangen. Doel is kennis te delen en samen te werken met onderzoekers, beleidsmakers en andere partijen om risico’s en impact beter te doorgronden.
De instellingen die in het institute opgaan zijn: Frontier Red Team, dat AI-veiligheidsrisico’s onderzoekt — onder meer op het vlak van cybersecurity; het Societal Impacts-team, dat bestudeert hoe mensen en bedrijven AI in de praktijk inzetten; en Economic Research, verantwoordelijk voor analyses zoals de Economic Index van Anthropic die schetst welke bedrijfsactiviteiten klanten automatiseren met behulp van Claude en hoe sectoren AI toepassen. Een concreet project van het Frontier Red Team gebruikte Claude om de broncode van Firefox te scannen op kwetsbaarheden en vervolgens te testen of de AI zelfstandig manieren kon bedenken om die kwetsbaarheden te misbruiken. Het Societal Impacts-team publiceerde recent onderzoek naar situaties waarin werknemers AI-agents volledig autonoom taken laten uitvoeren.
Anthropic breidt het instituut ook uit met prominente externe onderzoekers: Matt Botvinick (voorheen DeepMind) gaat onderzoek leiden naar de relatie tussen AI en de rechtsstaat; econoom Anton Korinek richt zich op hoe transformerende AI economische activiteit verandert; en Zoë Hitzig (voormalig OpenAI) moet economische studies sterker verbinden met de ontwikkeling en training van modellen. Het institute werkt daarnaast aan methoden om toekomstige AI-ontwikkelingen beter te voorspellen en onderzoekt mogelijke interacties tussen geavanceerde AI-systemen en juridische systemen.
Tegelijkertijd versterkt Anthropic zijn public policy-teams. Sarah Heck, afkomstig van Stripe en de Amerikaanse National Security Council, wordt hoofd van het beleidswerk. Dit team focust op modelveiligheid, transparantie, infrastructuurinvesteringen en exportregels. Anthropic wil dit voorjaar een kantoor in Washington D.C. openen om dichter bij Amerikaanse beleidsmakers te zitten en later de beleidsactiviteiten internationaal uitrollen.