Databricks lanceert Zerobus Ingest voor snellere streaming

In dit artikel:

Databricks heeft Zerobus Ingest geïntroduceerd, een serverless dienst binnen Lakeflow Connect die data rechtstreeks in het lakehouse streamt en daarmee de noodzaak voor traditionele message buses zoals Kafka wil wegnemen. De dienst is ontworpen om de complexe, kostbare streaming-architecturen die veel organisaties tegenkomen bij het opschalen van real-time operational intelligence te vereenvoudigen.

In plaats van een multi-sink message bus kiest Zerobus Ingest voor een single-sink aanpak: data gaat direct naar governed Delta-tabellen. Dat levert volgens Databricks minder operationele overhead (geen brokers, partities of consumer groups om te beheren), lagere kosten en eenvoudiger beheer doordat één beheerd Databricks-endpoint volstaat. De serverless infrastructuur schaalt automatisch en ondersteunt duizenden gelijktijdige verbindingen, met een gemelde doorvoer van meer dan 10 GB/s binnen minder dan vijf seconden.

Ontwikkelaars kunnen integreren via gRPC (aanbevolen voor lage latency en hoge throughput), een REST-API in bèta, of taalspecifieke SDK’s (Python, Java, Rust, Go, TypeScript). Er zijn ook production-ready bibliotheken voor authenticatie en batching en bèta-ondersteuning voor OpenTelemetry voor het opslaan van logs, metrics en traces in het lakehouse. Omdat elke write onder Unity Catalog valt, is er direct lineage-tracking en fijnmazige toegangscontrole, waardoor streamingdata governance verenigd wordt met rest van het lakehouse.

Kort gezegd probeert Databricks met Zerobus Ingest de ingest-stapel te reduceren van meerdere beheerde componenten naar een eenvoudiger, geautomatiseerd pad naar het lakehouse, zodat engineeringteams hun inspanningen kunnen richten op waardetoevoegende toepassingen in plaats van infrastructuurbeheer.