Google lanserar ny webb crawler för Vertex AI
Google har nyligen introducerat en ny bot, Google-CloudVertexBot, som ingår i deras Vertex AI-produktsvit. Den nya boten är utformad för att crawla webbplatsinnehåll för kommersiella kunder och är annorlunda än de andra botar som anges i Googles Search Central-dokumentation, vilka är kopplade till Google Sök eller reklam. Enligt den officiella Google Cloud-dokumentationen kan denna nya bot crawla webbplatser på begäran av webbplatsägare.
Google-CloudVertexBot och Vertex AI-agenter
Google-Cloud VertexBot används i samband med Vertex AI Agent Builder, som hanterar olika typer av datalager, inklusive offentliga webbplatsdata. Dokumentationen listar två typer av webbplatsindexering som boten kan utföra:
Grundläggande webbplatsindexering: Utnyttjar befintligt indexerat innehåll från Google.
Avancerad webbplatsindexering: Kräver domänverifiering från webbplatsägaren och är kopplad till specifika indexeringskvoter.
Avancerad indexering använder Google-CloudVertexBot, och till skillnad från Googles traditionella bots som crawlar offentliga sidor, arbetar denna bot enbart på uppdrag av webbplatsägare, vilket innebär att den inte automatiskt crawlar offentliga webbplatser.
Viktiga funktioner och användningsområden
Google Cloud-dokumentationen beskriver att datalager med webbplatsdata använder indexerad data från offentliga webbplatser, inklusive text och bilder med metadata. Webbplatsägare kan tillhandahålla en lista över domäner och sätta upp sök- eller rekommendationssystem baserat på crawlat data från dessa domäner.
I changelogen står det:
“Introducing the Google-CloudVertexBot crawler: En ny bot som crawlar webbplatser på begäran av webbplatsägare vid uppbyggnad av Vertex AI Agents. Den nya crawlen introducerades för att hjälpa webbplatsägare att identifiera trafik från den nya crawlen.”
Hur fungerar Google-CloudVertexBot?
User Agent: Google-CloudVertexBot använder ”Google-CloudVertexBot” som User Agent token.
Publicitet: Denna crawler indexerar inte offentliga webbplatser utan arbetar enbart på uppdrag av webbplatsägare.
Robots.txt: Det verkar inte vara nödvändigt att blockera Google-CloudVertexBot via robots.txt eftersom den endast agerar på begäran av webbplatsägare.
För mer information och detaljer om hur man hanterar denna nya crawler, rekommenderas att läsa den senaste Google-dokumentationen om Google-CloudVertexBot.
Kommentera: