De meeste mensen gebruiken AI door een vraag te stellen en het antwoord te beoordelen. Maar wat als AI terugduwt? Dat is het idee achter Collaborative Human-AI Dialectics for Scientific Research, een nieuw project onder leiding van dr. Bradley P. Allen van het Intelligent Data Engineering Lab (INDElab) van de Universiteit van Amsterdam. Samen met de Alliance for Data Science and AI (ADSA), de Vrije Universiteit Amsterdam en Old Dominion University onderzoekt het project met het systeem Elenchus of AI wetenschappers kan helpen hun redenering duidelijker, preciezer en consistenter te maken. Het project wordt ondersteund door de Alfred P. Sloan Foundation.

Wetenschappers moeten specialistische kennis vaak omzetten in formele beschrijvingen die computers kunnen gebruiken. Een biodiversiteitsonderzoeker moet bijvoorbeeld exact definiëren wat een biome is, hoe dat zich verhoudt tot habitats en soorten en welke uitzonderingen ertoe doen. Zulke gestructureerde definities heten ontologieën en helpen om datasets te koppelen, bevindingen te vergelijken en onderzoek reproduceerbaarder te maken. Definities kunnen echter verborgen aannames bevatten of tot conclusies leiden die niet goed op elkaar aansluiten. Elenchus is ontworpen om die zwakke plekken bloot te leggen: een expert voert een claim of definitie in en de AI signaleert een mogelijke spanning. De expert houdt de controle en kan de uitdaging verwerpen, de claim aanpassen of uitleggen waarom er geen probleem is. Alleen beslissingen die de expert onderschrijft, komen in het uiteindelijke kennisbestand terecht. De naam verwijst naar de Socratische methode.

Om dit te toetsen voeren dertig biodiversiteitsonderzoekers vergelijkbare taken uit via een gewone vrije AI-chat en via de gestructureerde dialoog van Elenchus, met dezelfde persoon, taak en hetzelfde taalmodel. Onafhankelijke experts beoordelen de resultaten zonder te weten welke methode is gebruikt. De onderzoekers gaan er niet vanuit dat meer tegenspraak vanzelf tot betere wetenschap leidt. Verbetert gestructureerde uitdaging de kwaliteit van kennis, dan kan dat het ontwerp van toekomstige AI-systemen voor onderzoek sturen. Zo niet, dan is dat evengoed waardevol, want dan blijkt waar een gewone AI-chat even effectief kan zijn. Elenchus wordt ontwikkeld als open-sourcesoftware.