AWS introduceert snellere loganalyse voor OpenSearch

In dit artikel:

AWS heeft een nieuwe loganalyse-engine toegevoegd aan Amazon OpenSearch Service om organisaties te helpen de explosief groeiende stroom logdata beter te verwerken. De functie is vooral bedoeld voor observability- en monitoringomgevingen, waar cloud-native applicaties en AI-toepassingen steeds meer data produceren. Volgens AWS neemt de hoeveelheid logdata bij veel bedrijven jaarlijks met 30 tot 40 procent toe, waardoor teams anders sneller extra opslag moeten inkopen of logs voortijdig moeten verwijderen.

De kern van de vernieuwing zit in een andere opslag- en verwerkingsaanpak. In plaats van de gebruikelijke inverted indexes gebruikt AWS nu het kolomgeoriënteerde Apache Parquet-formaat, dat data compacter opslaat en zo veel minder ruimte vraagt. Voor het afhandelen van queries combineert het bedrijf meerdere open-sourcecomponenten: Apache Calcite kiest de juiste engine, Apache DataFusion verwerkt analytische bewerkingen en Apache Lucene blijft verantwoordelijk voor traditionele zoekopdrachten. De engine ondersteunt zowel SQL als PPL, zodat gebruikers zoekacties en diepgaande analyses in één opdracht kunnen samenbrengen.

AWS zegt dat interne tests laten zien dat de nieuwe engine ongeveer 1,78 miljoen documenten per seconde kan verwerken en daarmee ongeveer twee keer zo snel is als een op Lucene gebaseerde variant. Ook zouden de opslagkosten gemiddeld rond de 70 procent lager liggen en de prijs-prestatieverhouding voor analytische zoekopdrachten sterk verbeteren. Die cijfers komen wel uit eigen metingen; onafhankelijke benchmarks zijn nog niet beschikbaar.

De functie is meteen beschikbaar in regio’s waar OpenSearch Optimized Instances worden ondersteund. Nieuwe gebruikers kunnen de engine kiezen door bij het opzetten van een OpenSearch-domein “observability” als hoofdtoepassing te selecteren. Extra licentiekosten zijn er niet: klanten betalen alleen voor de normale reken- en opslagcapaciteit.