GraphRAG: En förbättrad RAG-teknik som nu är gratis
Microsoft har gjort en ny teknologi tillgänglig, kallad GraphRAG, som gör det möjligt för chattbotar och svarsmotorer att skapa samband över hela datasättet, vilket överträffar standardtekniken Retrieval-Augmented Generation (RAG) med bred marginal.
Vad är skillnaden mellan RAG och GraphRAG?
RAG (Retrieval-Augmented Generation) gör det möjligt för en stor språkmodell (LLM) att använda en databas som en sökindex för att besvara frågor. RAG använder pålitlig data för att ge korrekta svar och kan uppdatera generativa AI-chattbotar med aktuell information. Tekniken använder ”embeddings” för att representera semantiska relationer mellan ord, meningar och dokument, vilket gör att den kan matcha sökfrågor med text i en databas.
Nackdelen med RAG är att den bara kan matcha text på en grundläggande nivå, vilket kan leda till felaktiga svar.
GraphRAG skapar en kunskapsgraf från indexerade dokument, vilket ger en strukturerad representation av relationer mellan olika entiteter som personer, platser och koncept. Detta gör det möjligt för en LLM att besvara frågor baserat på hela datasättet, snarare än bara matchande text.
Fördelar med GraphRAG
GraphRAG skapar ”community summaries” av data, vilket ger en hierarkisk sammanfattning som används för att besvara frågor. Detta gör att en chattbot kan ge svar baserade på kunskap snarare än bara textmatchning.
Microsoft förklarar:
”Att använda en LLM för att sammanfatta dessa communities skapar en hierarkisk sammanfattning av data, vilket ger en översikt över ett datasätt utan att behöva veta vilka frågor som ska ställas i förväg. Varje community fungerar som grund för en community-sammanfattning som beskriver dess entiteter och deras relationer.”
Exempel på RAG vs. GraphRAG
I en studie jämfördes RAG och GraphRAG för att besvara frågor från ett dataset med ryska och ukrainska nyheter från juni 2023.
Frågan ”Vad har Novorossiya gjort?” besvarades av RAG med: ”Texten ger ingen specifik information om vad Novorossiya har gjort.”
GraphRAG gav däremot ett detaljerat tvåsidigt svar som beskriver Novorossiyas politiska rörelse och dess aktiviteter.
GraphRAG nu tillgängligt för alla
Microsoft har nu gjort GraphRAG tillgängligt på GitHub, vilket erbjuder en mer strukturerad informationsåtervinning och omfattande svarsgenerering jämfört med standard RAG. Lösningen kan användas med en API-upplevelse på Azure, som kan distribueras utan kodning med några klick.
Kommentera: