Binnen veel organisaties die generatieve AI toepassen, worden meerdere modellen en versies naast elkaar gebruikt. Volgens medeoprichter Sohrab Hosseini leidt dat vaak tot versnipperde integraties, beperkte controle over kosten en onvoldoende zicht op wat er technisch gebeurt. De router van Orq.ai is ontwikkeld als centrale beheerslaag die al het modelverkeer coördineert.

Op routeringsniveau kan worden bepaald wanneer een applicatie van model wisselt, bijvoorbeeld om kosten te optimaliseren of prestaties te verbeteren. Volgens Orq.ai kan dit een kostenbesparing opleveren van tien tot vijftig procent. Daarnaast kunnen organisaties tokenbudgetten per gebruiker of team instellen en toegangsrechten beheren.

Bij modelkeuze spelen doorgaans drie factoren een rol: kwaliteit, performance en kosten. De router automatiseert deze afweging door verzoeken dynamisch toe te wijzen aan het meest geschikte model. Daarnaast maakt de oplossing het mogelijk om beleid te definiëren op basis van geografische locatie, latency-eisen of andere interne criteria. Verzoeken kunnen worden verdeeld over meerdere modellen tegelijk en sleutelbeheer wordt gecentraliseerd.

Een van de eerste grotere klanten die de router inzet, is de Amsterdamse neobank bunq.

De introductie van het product vindt plaats tegen een achtergrond van toenemende geopolitieke aandacht voor digitale soevereiniteit. Volgens Hosseini verschuift de focus van louter functionele vragen naar non-functionele aspecten, zoals waar inferentie plaatsvindt, wie de infrastructuur beheert en hoe snel kan worden overgeschakeld bij veranderende omstandigheden. Orq.ai positioneert de router als het punt waar deze infrastructuurbeslissingen technisch worden afgedwongen.

De software kan volledig binnen de infrastructuur van de klant worden uitgerold, inclusief ondersteuning voor private en ‘airgapped’ modellen. Daarmee onderscheidt het bedrijf zich van cloud-first alternatieven.

Naast de router biedt Orq.ai zijn AI Studio aan, waarmee teams de levenscyclus van AI-producten beheren, van experiment en evaluatie tot uitrol en optimalisatie. In ontwikkeling is ook een zogeheten Agent Control Tower, intern aangeduid als Agent Resource Management (ARM), bedoeld als beheerslaag voor het monitoren en aansturen van AI-agents binnen organisaties.