Voor het onderzoek, gepubliceerd in PNAS Nexus, legden de onderzoekers 21 taalmodellen 43.200 fictieve scenario’s voor waarin de ene persoon de andere wel of niet hielp, en vroegen ze de modellen of de handelende persoon daardoor een goede of slechte reputatie zou moeten krijgen. De modellen waren het grotendeels eens dat het helpen van iemand met een goede reputatie positief is en het weigeren daarvan negatief, maar verschilden sterk van mening zodra het ging om het beoordelen van gedrag tegenover iemand met een slechte reputatie. Sommige modellen beoordeelden hulp altijd als positief, ongeacht iemands reputatie; andere vonden het gerechtvaardigd om hulp te onthouden aan iemand die als onbetrouwbaar werd omschreven. Zelfs verschillende versies binnen dezelfde modelfamilie pasten uiteenlopende normen toe.

Dit soort verschillen is relevant omdat samenwerking in groepen vaak steunt op reputatie: mensen zijn eerder geneigd te helpen wie zelf ook helpt, een mechanisme dat bekendstaat als indirecte wederkerigheid. Met een model uit de evolutionaire speltheorie simuleerden de onderzoekers hoe verschillende sociale regels deze samenwerking op langere termijn beïnvloeden. Daaruit bleek dat gedetailleerdere regels, die rekening houden met iemands voorgeschiedenis, samenwerking juist kunnen versterken wanneer mensen het onderling eens zijn over wie betrouwbaar is, terwijl eenvoudigere regels beter werken wanneer meningen over reputaties uiteenlopen.

De onderzoekers testten ook of gerichte instructies de modellen konden sturen richting normen die samenwerking bevorderen; duidelijke doelaanduidingen gaven de meest consistente resultaten, al bleven de effecten per model verschillen. Volgens de onderzoekers volstaat het niet om te controleren of AI in een los geval een zinnig antwoord geeft: ontwikkelaars moeten ook de bredere regel onderzoeken die een systeem in uiteenlopende situaties toepast, voordat het wordt ingezet om mensen te adviseren, te modereren of te beoordelen.