Wie ontwikkelt het OS voor AI? VAST Data gaat er vol voor

In dit artikel:

VAST Data transformeert zijn platform stap voor stap van pure opslag voor HPC naar een geïntegreerd “AI‑OS” dat de volledige data‑pipeline wil beheersen. Volgens Field CTO Andy Pernsteiner, die al acht jaar bij VAST werkt, bouwt het bedrijf bewust aan lagen bovenop zijn sterke storage‑fundament om klanten eenvoudiger en betrouwbaarder AI‑workloads te laten draaien. De belangrijkste elementen en motivaties:

Achtergrond en architectuur
- Oorsprong in HPC: VAST begon met het oplossen van de grootste schaal‑ en prestatievraagstukken in High Performance Computing. Die context dwong het bedrijf een robuuste architectuur te ontwerpen, waarbij betrouwbaarheid centraal staat.
- DASE‑ontwerp: de Disaggregated, Shared‑Everything opzet scheidt compute van storage en maakt het platform stabiel en kostenefficiënt. Stabiliteit is volgens Pernsteiner cruciaal voor AI‑gebruik, omdat verloren GPU‑minuten direct rendement kosten; dat was een reden voor klanten zoals xAI om voor VAST te kiezen.
- Appliance‑model via partners: VAST verkoopt software maar levert en ondersteunt het als appliance in samenwerking met hardwarepartners (o.a. Cisco, HPE). Daardoor kan VAST zich op software concentreren terwijl partners schaal en levering verzorgen.

Van opslag naar datamanagement en services
- Enterprise‑eisen: Klanten wilden meer dan snelheid; ze vroegen om beveiliging, encryptie, multi‑tenancy en strikte monitoring. VAST voegde die enterprise‑features toe en schoof daarmee buiten traditionele HPC‑use‑cases richting bredere AI‑toepassingen.
- VAST Database en metadata: het bedrijf bouwde een eigen database en metadata‑catalogus om gestructureerde data op grote schaal te managen. Dit verving inefficiënties die ontstaan bij traditionele analytics‑stacks (zoals Delta Lake boven Parquet) en maakte een volledige index van aanwezige data mogelijk.
- Compute dichter bij data: door engines zoals Spark in het platform te embedden wil VAST data‑movement minimaliseren en efficiëntie winnen (minder CPU/DRAM voor verplaatsing van data).

Event‑driven pipelines en global namespace
- Event broker: VAST integreerde een realtime streamingengine, compatibel met Apache Kafka, zodat binnenkomende data direct events kunnen triggeren. Dat vermindert de noodzaak voor afzonderlijke Kafka‑clusters en externe beheerlagen en maakt automatisering van dataflows eenvoudiger.
- Global Access: met een global namespace wil VAST data over meerdere locaties en clouds samenbrengen zonder de gebruikelijke trade‑offs en extra kosten die bij verplaatsing ontstaan. Dit moet distribueren en beheren van data over on‑prem en cloudomgevingen versimpelen.

AI‑specifieke functies: RAG, vectoren, policies
- InsightEngine (eind 2024 aangekondigd): een workflow/applicatie op het VAST‑platform die real‑time Retrieval‑Augmented Generation mogelijk maakt. InsightEngine verzorgt het binnenhalen, preprocessen en gebruiken van ongestructureerde enterprise‑data voor RAG‑workflows, allemaal binnen hetzelfde platform.
- Native vector database: VAST ontwikkelde een eigen vector‑DB gericht op schaal en beveiliging. In plaats van alleen op snelheid te optimaliseren, legt VAST nadruk op schaalbaarheid en het toepassen van bestaande access‑policies.
- End‑to‑end security: doordat VAST controle heeft over de hele pipeline kunnen ACL’s en policies van bronobjecten worden doorgetrokken naar de vectoren; een gebruiker met geen rechten op het brondocument krijgt ook geen toegang tot de bijbehorende semantische zoekresultaten. Tevens bouwt VAST datareductie in om de bloating door vectorisatie te beperken.

AgentEngine en agentic AI
- AgentEngine fungeert als runtime voor het uitrollen van AI‑agents en bevindt zich nog een laag hoger dan InsightEngine. Het maakt pipelines onderdeel van het platform en positioneert ze als tools voor model‑coördinatie en automatisering (MCP). Deze laag is bedoeld om agentgedrag en georkestreerde workflows eenvoudig inzetbaar te maken, maar standaardisatie blijft complex door variatie in on‑prem eisen en afhankelijkheden zoals NVIDIA‑ecosystemen.

Naar de GPU‑laag
- VAST verschuift strategisch omhoog richting de GPU‑laag: het wil meer mogelijkheden toevoegen om GPU’s te beheren vanuit het systeem, zodat klanten minder hoeven te fiddlen met infrastructuur en pipelines makkelijker kunnen opzetten. Dat is een volgende stap in de ambitie om een AI‑OS te leveren dat niet alleen data beheert, maar ook dichter bij de uitvoerende rekeneenheden komt.

Wat betekent dit voor enterprise‑klanten en de markt?
- Voordelen voor klanten: minder losse componenten en beheerlagen, real‑time RAG en pipelines binnen één platform, ingebouwde security en governance, en ‘easy buttons’ om AI‑projecten sneller productierijp te krijgen.
- Risico’s en vragen: centralisatie van de data‑pipeline biedt gemak maar kan ook zorgen over vendor‑lock‑in en de verdeling van waarde tussen klant en leverancier. Daarnaast is het de vraag of VAST werkelijk hét AI‑OS kan worden: de infrastructuur voor AI is gelaagd en meerdere spelers werken aan overlappingende oplossingen, dus waarschijnlijk ontstaat een ecosysteem van gespecialiseerde “OS‑achtige” platforms.

Slotconclusie
VAST Data heeft vanuit een solide HPC‑achtergrond een duidelijke route uitgezet richting een breed geïntegreerd platform voor AI‑workloads. Door opslag, database‑diensten, event‑streaming, vectorbeheer, RAG‑workflows en agentruntimes samen te brengen — en de ambitie om dichter bij GPU’s te komen — positioneert VAST zich als een belangrijke speler in het bouwen van end‑to‑end data‑pipelines voor enterprises. Of het bedrijf daarmee het universele “OS voor AI” wordt, hangt af van definities, concurrentie en hoe klanten de balans ervaren tussen gemak en afhankelijkheid.