Svarta marknaden av AI-chatbottar växer snabbt
ChatGPT, med sina 200 miljoner aktiva användare varje vecka, har hjälpt OpenAI att nå en värdering på 100 miljarder dollar. Men det finns också en parallell marknad där stora summor tjänas—särskilt inom den undre världen. Enligt en studie publicerad på arXiv, en preprint-server ägd av Cornell University, kan illegala stora språkmodeller (LLMs) generera upp till 28 000 dollar på bara två månader genom försäljning på underjordiska marknader.
Två typer av skadliga AI-modeller
Studien, som granskade över 200 exempel på skadliga LLMs (eller malas) listade på underjordiska marknadsplatser mellan april och oktober 2023, identifierade två huvudtyper av modeller. Den första typen är helt ocensurerade LLMs, ofta baserade på öppen källkod. Den andra typen handlar om kommersiella LLMs som jailbreakats från sina säkerhetsspärrar genom speciella prompts.
Xiaofeng Wang, professor vid Indiana University Bloomington och en av studiens medförfattare, betonar vikten av att studera dessa fenomen i ett tidigt skede: “Vi vill ligga steget före och förhindra att stora skador redan har skett.”
Ekonomiska motiv bakom skadliga LLMs
Medan hackers ibland kan kringgå begränsningarna hos mainstream-LLMs, är dessa fall relativt ovanliga. Istället har illegala LLMs vuxit fram för att möta efterfrågan, och de som står bakom dem är inte oväntat intresserade av att tjäna pengar. “Vi fann att de flesta malas på underjordiska forum existerar främst för att tjäna pengar,” säger Zilong Lin, en annan forskare vid Indiana University Bloomington.
Olika användningsområden för svarta marknadens LLMs
De skadliga LLMs används på en mängd olika sätt, från att skriva phishingmejl till att utveckla skadlig kod som angriper webbplatser. En separat studie uppskattar att LLMs kan minska kostnaden för att producera phishingmejl med 96%. Förmågan hos dessa svarta marknads-LLMs att utföra sina uppgifter kan variera kraftigt, även om vissa är särskilt kraftfulla.
Två ocensurerade LLMs, DarkGPT och Escape GPT, utmärkte sig i studien genom att producera korrekt kod cirka två tredjedelar av gångerna, utan att koden upptäcktes av antivirusprogram—vilket ger dem en högre chans att framgångsrikt angripa en dator. En annan modell, WolfGPT, har visat sig vara mycket effektiv på att skapa phishingmejl som lyckas undvika de flesta spamfilter.
Risker och åtgärder
Andrew Hundt, en forskare vid Carnegie Mellon University som inte deltog i studien, påpekar att författarna visar att skadliga användare lyckas sälja vidare företagens produkter för skadliga ändamål. Hundt anser att beslutsfattare borde kräva att AI-företag utvecklar och implementerar policyer för kundidentifiering för att verifiera användares identitet. “Vi behöver också rättsliga ramar för att säkerställa att företag som skapar dessa modeller och tillhandahåller tjänster gör det på ett ansvarsfullt sätt för att minska riskerna från skadliga aktörer,” säger han.
Wang påpekar att forskning som hans teams bara är början i kampen mot cyberkriminella. “Vi kan utveckla teknologier och tillhandahålla insikter för att hjälpa till,” säger han, “men vi kan inte stoppa dessa fenomen helt eftersom vi saknar resurserna.”
Kommentera: