AI-crawlers står för 28 % av Googlebots trafik
En ny rapport från Vercel visar att AI-crawlers nu står för en betydande andel av webbens datainsamling. Dessa avancerade botar förändrar SEO-spelet och ställer nya krav på webbplatsoptimering.
Nästan en miljard förfrågningar från AI-crawlers varje månad
Enligt Vercels rapport genererar AI-crawlers som OpenAIs GPTBot och Anthropics Claude nästan en miljard förfrågningar per månad. Under den senaste månaden gjorde GPTBot 569 miljoner förfrågningar, medan Claude stod för 370 miljoner.
Även andra AI-crawlers bidrog till den höga siffran:
PerplexityBot: 24,4 miljoner förfrågningar
AppleBot: 314 miljoner förfrågningar
Tillsammans utgör dessa AI-crawlers cirka 28 % av Googlebots totala trafikvolym, som ligger på 4,5 miljarder förfrågningar.
Vad gör AI-crawlers unika?
Rapporten identifierar flera unika egenskaper hos AI-crawlers:
Renderar inte JavaScript: AI-crawlers hämtar JavaScript-filer men exekverar dem inte, vilket kan leda till att innehåll som kräver klientbaserad rendering förbises.
Ofta ineffektiva: Cirka 34 % av GPTBot och Claudes förfrågningar slutar på 404-sidor.
Innehållsprioritering: ChatGPT prioriterar HTML (57,7 %), medan Claude fokuserar mer på bilder (35,17 %).
Geografisk fördelning av AI-crawlers
Till skillnad från traditionella sökmotorer, som ofta opererar globalt, har AI-crawlers en mer koncentrerad närvaro i USA:
GPTBot: Des Moines (Iowa) och Phoenix (Arizona)
Claude: Columbus (Ohio)
Hur kan företag optimera för AI-crawlers?
Med tanke på AI-crawlers växande påverkan är det viktigt att webbplatser anpassas för att maximera synlighet och indexering. Här är tre viktiga strategier:
1. Serverbaserad rendering (SSR)
Eftersom AI-crawlers inte exekverar JavaScript är serverbaserad rendering avgörande.
Rekommenderade åtgärder:
Implementera serverbaserad rendering för kritiskt innehåll.
Säkerställ att metadata, rubriker och navigation syns i den initiala HTML-koden.
Använd statisk webbplatsgenerering där det är möjligt.
2. Strukturerat innehåll och filoptimering
Vercels data visar att olika AI-crawlers prioriterar olika typer av innehåll:
ChatGPT: Fokuserar på HTML (57,7 %)
Claude: Prioriterar bilder (35,17 %)
Optimeringstips:
Strukturera HTML semantiskt och tydligt.
Optimera bildleverans med rätt metadata och alt-texter.
Implementera korrekt rubrikstruktur och undvik onödiga JavaScript-beroenden.
3. Tekniska överväganden
Höga 404-fel från AI-crawlers visar på vikten av att hålla webbplatsen tekniskt uppdaterad.
Rekommenderade åtgärder:
Håll sitemaps uppdaterade.
Implementera korrekta omdirigeringskedjor.
Utför regelbundna granskningar av 404-fel.
AI-crawlers omformar SEO-landskapet
För SEO-specialister är budskapet tydligt: AI-crawlers är här för att stanna och förändrar hur webben indexeras. Även om många AI-botar idag förlitar sig på cachelagrad eller äldre data, kommer deras förmåga att tolka färskt innehåll att växa.
Genom att anpassa sig med serverbaserad rendering, strukturerad data och tekniska optimeringar kan företag säkerställa att deras innehåll når både traditionella sökmotorer och AI-drivna botar.
Kommentera: