Metas nya AI-monster Llama 3.1 405B är här

Idag meddelade Meta att modellen har hela 405 miljarder parametrar. Ju fler parametrar, desto smartare modell. Llama 3.1 405B är inte störst någonsin, men den största på flera år. Den är tränad med 16 000 Nvidia H100-GPUoch använder de senaste teknikerna, vilket gör den jämförbar med de bästa, som GPT-4o och Claude 3.5 Sonnet.

Llama 3.1 405B finns tillgänglig för nedladdning eller på molnplattformar som AWS, Azure och Google Cloud. Den används även i WhatsApp och Meta.ai som chatbot för användare i USA.

Textbaserat mattegeni kan 750 miljarder ord

Modellen kan allt från att koda och lösa matteproblem till att sammanfatta dokument på åtta språk. Den är textbaserad, så den kan inte tolka bilder, men hanterar textfiler galant.

Meta experimenterar med modeller som kan känna igen bilder, videos och tal. Men de är inte redo för allmänheten ännu. För att träna Llama 3.1 405B använde Meta 15 biljoner tokens, vilket motsvarar 750 miljarder ord. De har även finjusterat sina datakällor och filtreringsmetoder för att höja kvaliteten.

Meta använde även syntetiska data för finjusteringen, en metod som väcker debatt inom AI-världen på grund av riskerna för bias. Trots det hävdar Meta att de noga balanserade träningen.

Meta vill bli störst på generativ AI

Llama 3.1 405B har en större kontextfönster än tidigare modeller, vilket gör den bättre på att sammanfatta långa texter och hålla koll på samtal. Meta släpper också nya verktyg och säkerhetsåtgärder för att göra det lättare för utvecklare att använda Llama-modellerna på nya kreativa sätt.

300 miljoner nedladdningar

Mark Zuckerberg lyfter i ett öppet brev fram visionen om att ge fler utvecklare tillgång till AI-verktyg, och det är klart att Meta siktar på att bli ledande inom generativ AI. Deras strategi? Ge bort verktyg gratis och sedan lägga till betaltjänster. Meta har redan fått stort gensvar: över 300 miljoner nedladdningar och 20 000 skapade Llama-modeller.

Men att träna dessa stora modeller kräver enorma mängder energi, något som Meta erkänner är en utmaning för framtiden.

EU sätter ner foten mot Facebook och Instagram

EU:s konsumentmyndigheter sätter nu gemensamt ner foten mot Metas nya affärsmodell, som man menar bryter mot EU:s konsumentlagar. EU:s