ClickHouse, de open-source uitdager van Snowflake en Databricks
In dit artikel:
Eind vorige week maakte ClickHouse twee grote stappen: het haalde een financieringsronde binnen die het bedrijf op een waardering van 15 miljard dollar zette, en het nam observability-startup Langfuse over. De ontwikkelingen zetten een schijnwerper op een technologie die al langer bestaat maar relatief under-the-radar bleef sinds de open-sourcerelease in 2016 en de oprichting als zelfstandig bedrijf in 2021. De oorsprong van ClickHouse gaat terug naar 2009 bij het Russische Yandex.
ClickHouse groeit vooral omdat het extreem snel is bij analytische workloads — een eigenschap die goed aansluit op de opkomst van AI en grote taalmodellen. De database is columnar OLAP, ontworpen voor parallellisatie: queries worden opgesplitst en over meerdere nodes en processen verspreid. Met vectorized query execution verwerkt ClickHouse data blokgewijs en maakt het gebruik van SIMD-instructies om meerdere datapunten in één keer te berekenen. Dat levert grote voordelen bij complexe, real‑time analyses en observability van LLM-productiesystemen. Grote AI- en techbedrijven zoals Microsoft, Meta, Anthropic, en ook diensten als eBay, Spotify en Lyft staan inmiddels op de klantenlijst.
Een ander onderscheidend kenmerk is de sterke datacompressie: ClickHouse kan ruimschoots efficiënter opslaan dan veel concurrenten, waardoor minder I/O nodig is en de prestaties omhoog gaan. Dat levert kostenvoordelen maar vraagt wel extra engineering: om die compressie en diepe hardware-integratie effectief te benutten is maatwerk en expertise vereist. In die zin is ClickHouse minder ‘zorgeloos’ dan platformen als Snowflake of Databricks, waar storage en compute gescheiden zijn en gebruiksgemak hoger op de prioriteitenlijst staat.
De aankoop van Langfuse past in ClickHouse’ rol als observability-backend voor LLM’s; Langfuse gebruikte zelf al ClickHouse omdat traditionele relationele systemen zoals Postgres moeite krijgen bij miljoenen rijen en trage observability funest is voor productie-LLM’s. Tegelijkertijd is ClickHouse nog geen allround datawarehouse met alle management- en rapportagefuncties die Snowflake of Databricks bieden. Het richt zich vooral op workloads waarvoor snelheid cruciaal is; minder kritische of zeldzame processen profiteren niet genoeg van de hoge inspanning om ClickHouse te optimaliseren.
Strategisch zet ClickHouse in op cloud-adoptie (met ClickHouse Cloud), blijft open source onder Apache 2.0, en probeert functierijker en gebruiksvriendelijker te worden voordat de grote concurrenten hun prestaties op dit vlak opkrikken. De uitdaging is om de specialistische snelheid toegankelijker te maken zonder het platform zijn kernvoordelen te ontnemen.