OpenAI lanserar Realtime API och nya verktyg för AI-apputvecklare
OpenAI har trots de senaste veckornas händelser – inklusive flera chefsavhopp och nya investeringsrundor – nyligen visat upp en rad nya verktyg för utvecklare på sin DevDay 2024. Bland de mest uppmärksammade nyheterna är “Realtime API”, som nu är tillgängligt i en öppen betaversion och möjliggör snabb AI-genererad röstrespons i appar.
Realtime API banar väg för AI-drivna röstupplevelser
Den nya Realtime APIlåter utvecklare skapa appar med AI-drivna röstfunktioner som svarar med låg fördröjning. Med sex unika röster, som är olika de som används i ChatGPT, har utvecklare möjlighet att bygga interaktiva röstupplevelser. Däremot får inte externa röster användas på grund av upphovsrättsliga skäl. OpenAI demonstrerade denna teknik med en reseplaneringsapp där användare kunde prata direkt med en AI-assistent som gav snabba svar och till och med placerade restauranger på en karta i realtid.
AI och etiska frågor kring AI-genererade röster
Med möjligheten att simulera konversationer på telefon utan krav på att AI-rösterna identifierar sig, har OpenAI fått kritik. Det blir istället utvecklarnas ansvar att inkludera sådana avslöjanden, något som kan krävas av den nya lagstiftningen i Kalifornien. Utvecklare kan använda sig av tjänster som Twilio för att integrera samtalsfunktioner, även om OpenAIs teknik i sig inte direkt kan ringa samtal till företag.
Nytt inom API:et: vision-fine-tuning och prompt caching
En annan ny funktion är vision fine-tuning, som gör det möjligt att använda bilder tillsammans med text för att finjustera GPT-4o. Detta kan förbättra modellens prestanda för uppgifter där visuell förståelse är kritisk. OpenAI har emellertid tydliga säkerhetsregler kring vilka bilder som är tillåtna, med restriktioner för exempelvis våldsamma eller upphovsrättsskyddade bilder.
OpenAI introducerade även prompt caching, som låter utvecklare lagra ofta använda kontext mellan API-anrop, vilket kan minska kostnaderna med upp till 50 %. Funktionen liknar den som Anthropic nyligen lanserade, där de erbjuder hela 90 % besparing.
Modell-distillation möjliggör mindre och billigare AI-modeller
För att möta konkurrensen erbjuder OpenAI nu modell-distillation, där större AI-modeller används för att finjustera mindre modeller. Detta kan ge kostnadsbesparingar genom att låta utvecklare köra enklare AI-modeller som GPT-4o mini, samtidigt som de behåller prestandan hos större modeller. För att hjälpa utvecklare att analysera dessa finjusteringar har OpenAI också lanserat ett beta-verktyg för prestandamätning.
Inga nya AI-modeller under årets DevDay
Trots flera nya verktyg och funktioner saknade årets DevDay några av de mest efterlängtade lanseringarna, såsom den fullständiga versionen av OpenAI o1 och den nya videomodellen Sora. OpenAI har även hållit tillbaka information om GPT Store, vilket lämnar utvecklare med frågor om vad som egentligen är på gång bakom kulisserna.
Kommentera: