Svensk AI modell utvecklas med hjälp av spansk superdator
AI Sweden och Fraunhofer IAIS har nu tillgång till den avancerade superdatorn Mare Nostrum 5 i Barcelona för att utveckla stora språkmodeller för europeiska språk, inklusive svenska.
Samarbete för starkare språkmodeller
AI Sweden och tyska Fraunhofer IAIS har inlett ett samarbete för att utveckla omfattande språkmodeller för 45 europeiska språk och dialekter. Magnus Sahlgren från AI Sweden är optimistisk: – Modellen kommer att funka jättebra för svenska, säger Sahlgren.
Fördelar för mindre språk
Sahlgren, chef för forskning inom språkförståelse vid AI Sweden, påpekar att mindre språk kan dra stor nytta av att tränas tillsammans med större språk. Detta fenomen kallas för överföringseffekter. – Mindre språk blir bättre av att ha en blandning av större språk i modellerna, säger Sahlgren.
Tekniska detaljer och tidsplan
Projektet inleddes i maj och de första språkmodellerna förväntas vara klara inom några månader. Arbetet kräver 8,8 miljoner beräkningstimmar på Mare Nostrum 5:s kluster som består av 4 480 Nvidia H100 grafikchip. Denna kapacitet finns inte tillgänglig i Sverige, enligt AI Sweden.
Fokus på minoritetsspråk
Ett av målen med projektet är att också kunna stödja minoritetsspråk som samiska. Trots utmaningar med datatillgången för samiska, finns planer på att anpassa modellen efteråt för att inkludera språket. – Det handlar ju rätt mycket om hur datatillgången ser ut för samiska. Men även om det inte är så att vi får med samiska i själva träningsförfarandet nu, så kan man sedan anpassa modellen för att kunna samiska efteråt, förklarar Sahlgren.
Kommentera: