OpenSearch 3.0 verbetert vector databaseprestaties

De huidige AI-applicaties – zoals generatieve AI, hybride zoekopdrachten, retrieval-augmented generation (RAG) en aanbevelingsengines – zijn sterk afhankelijk van vector databases om patronen te vinden in omvangrijke, complexe datasets. Naarmate het aantal vectoren echter exponentieel groeit tot in de miljarden, worstelen veel organisaties met snelheid, kosten en schaalbaarheid. Forrester benadrukt dat traditionele databases niet langer kunnen voldoen aan de groeiende eisen van generatieve AI vanwege beperkingen in de ondersteuning van moderne vector multidimensionale data en het uitvoeren van similariteitszoekopdrachten.

OpenSearch 3.0 pakt deze uitdaging aan en stelt gebruikers in staat de efficiëntie te verhogen, superieure prestaties te leveren en de ontwikkeling van AI-applicaties te versnellen via nieuwe mogelijkheden voor datamanagement, AI-agenten en vector zoeken. Tegelijkertijd kunnen verbeteringen zoals GPU-ondersteunde functionaliteiten de kosten met 3,75x verlagen.

“De markt voor enterprise search schiet omhoog in tandem met de versnelling van AI en zal naar verwachting $8,9 miljard bereiken in 2030,” aldus Carl Meadows, Governing Board Chair bij de OpenSearch Software Foundation en Director of Product Management bij Amazon Web Services (AWS). “OpenSearch 3.0 is een krachtige stap voorwaarts in onze missie om de community te ondersteunen met een open, schaalbaar platform dat is gebouwd voor de toekomst van zoeken en analytics, en het weerspiegelt onze toewijding aan open samenwerking en innovatie die impact in de echte wereld genereert.”

Innovaties in de vector engine verhogen de verwerkingssnelheid en efficiëntie 

Om zijn grootschalige zoekplatform te ondersteunen en een enorme hoeveelheid vector data te beheren, introduceerde OpenSearch GPU-gebaseerde acceleratie, waarbij gebruik wordt gemaakt van NVIDIA cuVS voor indexeringsworkflows. Nieuwe functies in de vector engine zijn onder meer:

• GPU Acceleration for OpenSearch Vector Engine: Levert superieure prestaties voor grootschalige vector workloads en verlaagt tegelijkertijd de operationele kosten aanzienlijk door de indexbouwtijd te verkorten. Door GPU-implementatie mogelijk te maken, verhoogt deze experimentele functie de prestaties voor data-intensieve workloads en versnelt index builds tot 9,3x.
• Model Context Protocol (MCP) Support: Native MCP-ondersteuning stelt AI-agenten in staat eenvoudig te communiceren met OpenSearch, waardoor meer uitgebreide en aanpasbare AI-aangedreven oplossingen mogelijk worden.
• Derived Source: Vermindert het opslagverbruik met een derde door redundante vector databronnen te verwijderen en primaire data te gebruiken om brondocumenten indien nodig opnieuw te creëren voor herindexering of source call back.

Datamanagementfuncties optimaliseren resources, verbeteren flexibiliteit en stimuleren schaalbaarheid 

OpenSearch 3.0 biedt belangrijke verbeteringen in de manier waarop het platform data opneemt, transporteert en beheert, waaronder:

• Support for gRPC: Maakt snellere en efficiëntere datatransport en -verwerking mogelijk voor OpenSearch-implementaties. Deze experimentele functie biedt een nieuwe benadering van datatransport tussen clients, servers en node-to-node communicatie in OpenSearch.
• Pull-based ingestion: Verbetert de efficiëntie van data-opname en geeft OpenSearch meer controle over de datastroom en wanneer deze wordt opgehaald door het ontkoppelen van databronnen en data-afnemers. Deze experimentele functie stelt gebruikers ook in staat data op te halen uit streaming systemen zoals Apache Kafka en Amazon Kinesis.
• Reader and Writer separation: Garandeert consistente, hoogwaardige prestaties voor indexerings- en zoekworkloads door elk afzonderlijk te configureren, waardoor beide workloads op optimale snelheid en schaal kunnen werken, in plaats van in efficiëntie af te nemen wanneer de andere zwaar belast is.
• Apache Calcite Integration: Maakt intuïtieve, iteratieve query-opbouw en -exploratie mogelijk door de query builder te integreren in OpenSearch SQL en PPL. Vereenvoudigt use cases voor beveiliging, observability en loganalyse.
• Index Type Detection: Verhoogt de productiviteit door automatisch te bepalen of een OpenSearch-index log-gerelateerde data bevat en versnelt de selectie van functies voor loganalyse.

Kernupgrades maken het zoekplatform en de analytics suite van OpenSearch toekomstbestendig 

Verbeteringen aan de zoekinfrastructuur van het platform – het verwijderen van legacy code, het aannemen van een modulaire architectuur en het afstemmen op de nieuwste Java-ontwikkelingen – verhogen de onderhoudbaarheid, het prestatiepotentieel en de efficiëntie. Updates omvatten:

• Lucene 10 Upgrade: Moderniseert de zoekinfrastructuur van het platform om innovatie op lange termijn te garanderen, de indexerings- en zoekmogelijkheden te verbeteren en de prestaties van parallelle taakuitvoering te verhogen.
• Java 21 Minimum Supported Runtime: Biedt toegang tot moderne taalfuncties en prestatieverbeteringen.
• Java Platform Module System Support: Verbetert de organisatie, elimineert top-level split packages en creëert een basis voor het herstructureren van de monolithische servermodule in afzonderlijke bibliotheken.

OpenSearch 3.0 is nu beschikbaar. Zie de officiële release blog voor meer informatie en volledige release notes. Ga naar foundation.opensearch.org/ voor meer informatie over de OpenSearch Software Foundation, inclusief hoe u betrokken kunt raken, lid kunt worden of kunt bijdragen.