NIST lanserar ny plattform för att utvärdera generativ AI
Det amerikanska National Institute of Standards and Technology (NIST), en del av handelsdepartementet som utvecklar och testar teknik för både regeringen och allmänheten, meddelade nyligen lanseringen av NIST GenAI. Detta nya program är inriktat på att utvärdera teknologier för generativ AI, inklusive system som genererar text och bilder.
Utvärdering och riktlinjer för autenticitet
Genom NIST GenAI kommer organisationen att släppa riktmärken och assistera i skapandet av system för att upptäcka ”innehållsautenticitet”, såsom system för att kontrollera deepfakes. Programmet kommer även att främja utvecklingen av mjukvara som kan identifiera källan till falsk eller vilseledande information som genereras av AI. På sin nyöppnade webbplats och i ett pressmeddelande förklarar NIST att GenAI-programmet kommer att initiera en serie utmaningar för att ”utvärdera och mäta förmågorna och begränsningarna hos generativ AI-teknologi”.
Första projektet fokuserar på medieidentifiering
NIST GenAI:s första projekt är en pilotstudie som syftar till att utveckla system som pålitligt kan skilja mellan innehåll skapat av människor och sådant som genererats av AI, med början i textbaserat innehåll. Deltagare från akademin, industrin och forskningslaboratorier uppmanas att bidra med antingen ”generatorer” – AI-system som genererar innehåll – eller ”diskriminatorer”, system designade för att identifiera innehåll skapat av AI.
Studie med strikta regler
I studien ska generatorerna kunna skapa sammanfattningar på högst 250 ord från ett givet ämne och dokument, medan diskriminatorerna ska avgöra om en sammanfattning kan vara skriven av AI. För att garantera rättvisa kommer NIST GenAI att tillhandahålla nödvändig data för att testa generatorerna. System som tränats på offentligt tillgänglig data eller som inte ”följer tillämpliga lagar och förordningar” kommer inte att accepteras.
Var med och testa
Anmälningar till piloten börjar den 1 maj, med första omgången planerad att avslutas den 2 augusti. Slutsatser från studien förväntas publiceras i februari 2025.
NIST GenAI:s lansering och fokus på deepfake-studier kommer i en tid då mängden desinformation och felinformation som genereras av AI ökar exponentiellt. Enligt uppgifter från Clarity, ett företag som upptäcker deepfakes, har det skapats och publicerats 900% fler deepfakes i år jämfört med samma period förra året. En nyligen genomförd undersökning från YouGov visar att 85% av amerikanerna är oroade över spridningen av vilseledande deepfakes på nätet.
NIST GenAI är en del av NIST:s respons på president Joe Bidens exekutiva order om AI, vilken kräver större transparens från AI-företag om hur deras modeller fungerar och etablerar nya standarder, inklusive märkning av AI-genererat innehåll.
Kommentera: