Red Hat ontsluit de toekomst met Model-as-a-Service en AgentOps
In dit artikel:
Tijdens de Red Hat Summit presenteerde Red Hat een nieuwe stap in zijn AI-strategie: Red Hat AI 3.4, bedoeld om de kloof tussen experimenten en grootschalige productie-uitrol van AI te dichten. CEO Matt Hicks noemde AI tijdens de keynote het grootste technologische omslagpunt tot nu toe, omdat het niet alleen IT raakt maar de hele bedrijfsvoering beïnvloedt. Red Hat positioneert zich als facilitator van het noodzakelijke evenwicht: maximale AI-baten zonder de bestaande bedrijfsvoering te verstoren.
Centraal in 3.4 staat Model‑as‑a‑Service (MaaS). Met de Red Hat AI Gateway krijgen platformbeheerders een centrale, beveiligde interface voor toegang tot modellen, gebruiksmonitoring en beleidshandhaving. Ontwikkelaars kunnen via OpenAI‑compatibele API’s werken, wat uniformiteit en eenvoud biedt bij inzet in verschillende omgevingen. Onder de motorkap draait inferencing primair op vLLM (aangevuld door expertise uit de overname van Neural Magic) en het gedistribueerde llm-d framework voor Kubernetes-schaalbaarheid. Speculative decoding is nu algemeen beschikbaar en zou responstijden met een factor twee tot drie kunnen versnellen met minimale kwaliteitsafname; vLLM ondersteunt nu ook CPU-gebaseerde infrastructuur voor kleinere modellen.
Red Hat speelt bovendien in op de opkomst van agent‑gebaseerde AI met een AgentOps‑toolkit die agents door hun volledige levenscyclus beheert. Die toolkit bevat tracing van LLM‑calls, tool‑calls en reasoningstappen, en introduceert cryptografisch identiteitsbeheer via SPIFFE/SPIRE om statische sleutels te vervangen door kortlevende tokens. Voor runtime‑toolbeheer zijn er een MCP‑servercatalogus en MCP‑gateway. Tracing en experimentmanagement zijn samengebracht rond MLflow (v3.4 nu GA), en een nieuwe Evaluation Hub biedt een framework‑onafhankelijke control plane voor kwaliteits-, nauwkeurigheids‑ en risicobeoordeling van modellen en agents.
Veiligheid en governance krijgen veel aandacht: geautomatiseerde red‑teaming (technologie van Chatterbox Labs) integreert veiligheidsvalidatie in de ontwikkelcyclus en gebruikt Garak om risico’s als jailbreaks, prompt‑injections en bias te detecteren; Nvidia NeMo Guardrails biedt aanvullende runtime‑bescherming. Prompt Lab & Registry leggen prompts vast als beheerde data‑assets, zodat er één betrouwbare bron van waarheid is voor modelinput.
De samenwerking met Nvidia wordt verdiept: de Red Hat AI Factory with Nvidia krijgt nieuwe mogelijkheden, waaronder betrokkenheid bij OpenShell (een sandbox voor agents). Red Hat Enterprise Linux for Nvidia 26.01 is algemeen beschikbaar met day‑zero ondersteuning voor Nvidia Blackwell; er wordt gewerkt aan ondersteuning voor toekomstige architecturen. Gezamenlijke blueprints en AI‑quickstarts moeten implementaties versnellen voor use cases zoals MaaS, Enterprise RAG/RAFT en semantisch zoeken.
Red Hat AI 3.4 en de geüpdatete AI Factory met Nvidia worden later deze maand beschikbaar gesteld. Red Hat presenteert hiermee een open, enterprise‑gerichte stap naar het ‘agentic’ tijdperk waarin systemen steeds autonomer en geïntegreerder functioneren binnen bestaande infrastructuren.