AI-afbeeldingstechnologie ontwikkelt zich snel, maar de meeste modellen zijn geoptimaliseerd voor Engels. Wanneer gebruikers teksten in andere talen invoeren, worden deze vaak eerst vertaald, waardoor taalkundige en culturele nuances verloren kunnen gaan. Dit plaatst niet‑Engelstalige gebruikers in een nadelige positie bij het creëren van AI-afbeeldingen.

Om dit probleem aan te pakken, werkte een onderzoeksteam van het UvA Informatics Institute samen met AI-bedrijf Cohere Labs. Ze integreerden beeldgeneratie met krachtige meertalige taalmodellen. Het resultaat is NeoBabel, dat prompts in zes talen (Engels, Frans, Nederlands, Chinees, Hindi en Perzisch) direct begrijpt en afbeeldingen genereert zonder eerst te vertalen.

In tegenstelling tot veel commerciële modellen, waarvan de werking niet volledig transparant is, heeft het NeoBabel-team de code en datasets volledig open source gemaakt. Hierdoor kunnen andere onderzoekers en ontwikkelaars verder bouwen aan een meer inclusieve AI‑wereld.

Daarnaast heeft het team de kwaliteit van trainingsdata verbeterd door meertalige modellen te gebruiken voor rijkere beschrijvende labels van de afbeeldingen. Dit proces ondersteunt directe beeldgeneratie in alle zes talen en helpt het model sterkere verbanden te leren tussen woorden en visuele elementen.

Een unieke toepassing van NeoBabel is het collaboratieve creatieve canvas, waarbij gebruikers die verschillende talen spreken samen aan hetzelfde project kunnen werken. Iedereen kan de afbeelding genereren en aanpassen in de eigen taal, en het systeem past het beeld automatisch aan op alle bijdragen.

Voor de toekomst wil het onderzoeksteam NeoBabel uitbreiden naar videoproductie en cultureel specifieke beelden, hoewel hiervoor extra rekenkracht en data nodig zijn. Ze zoeken samenwerkingspartners om deze doelen te realiseren en nieuwe creatieve mogelijkheden te verkennen.