Nu utvecklas en stor AI-baserad språkmodell på svenska

AI-modellen GPT-3 kan ta enkla kommandon på engelska och generera sammanhängande text, den är bättre på att förstå mänskligt språk och språkliga sammanhang än andra AI-modeller och den kan skriva en hel text eller en dikt, det skriver Ny Teknik.

AI Sweden presenterade GPT-SW3 i december 2021, modellen har 3,5 miljoner parametrar och bygger på och 106 GB svensk text och har, med hjälp av Megatronramverket från NVIDIA, utbildats tillsammans med Rise på Linköpings universitets superdator Berzelius, det framgår av ett pressmeddelande.

“Vår lilla modell är ett otroligt bra proof-of-concept, jag har aldrig sett så bra textgenerering på svenska. Den skriver bra, sammanhängande texter, men när man skalar upp den blir den mycket bättre på att följa mönster, säger Ariel Ekgren, forskarna vid AI Sweden som ingår i projektet, till Ny Teknik.

Ska träna mycket större modell

I sommar ska AI Sweden tillsammans med WASP WARA Media & Language och Rise träna en mycket större GPT-SW3-modell med upp till 175 miljarder parametrar och cirka 1 TB text, framför allt på svenska, men även på norska, danska isländska och engelska.

När modellen växer i storlek kommer den bli bättre på all typ av språkbearbetning. Det har visat sig att väldigt stora språkmodeller även har kunnat lösa sådana uppgifter de inte är speciellt utbildade för.

Vill att alla ska få tillgång

Den här typen av modeller kan komma att revolutionera det sätt som textdata bearbetas, analyseras och används och de öppnar upp för nya sätt att skapa nytta för samhället och för medborgarna.

Om GPT-SW3 fungerar som det är tänkt vill AI Sweden att alla sektorer i samhället ska få tillgång till den, det skriver Ny Teknik.

Intresserad av samhällsbyggnad och teknik? Så här enkelt får du vår kostnadsfria nyhetstjänst.

Läs mer: 100 000 nya kulturlämningar hittade med ny AI-teknik