Modeller för videogenerering
Anmärkning
Mer information finns på fliken Text och bilder !
Förutom statiska bilder förväntar vi oss i allt högre grad att använda visuellt innehåll som video.
Använda videogenereringsmodeller från Foundry
Microsoft Foundry innehåller modeller för videogenerering, som du kan använda för att skapa ursprungligt videoinnehåll.
Videogenereringsmodeller i Foundry är:
- Sora 1: Sora är OpenAI:s första text-till-video-modell som gjorts tillgänglig i Microsoft Foundry. Det genererar korta videoklipp från textprompter och kan också använda bilder som indata för att vägleda skapandet av video. Sora 1 stöder flera lösningar och varaktigheter och exponeras via Azure OpenAI-tjänsten och Foundry Video Playground för experimentering.
Vanliga användningsområden:
- Konceptvideor och storyboards
- Korta animeringar från textbeskrivningar
- Visuella prototyper för kreativa arbetsflöden
Sora 2 (offentlig förhandsversion): Sora 2 är nästa generations videogenerationsmodell i Foundry och representerar en betydande uppgradering över Sora 1. Det stöder flera metoder, inklusive: Text → video, Bild → video, Video → video (remix). Sora 2 introducerar också ljudgenerering, förbättrad realism och remixfunktioner som tillåter riktade redigeringar istället för att återskapa en hel video. Den är tillgänglig via Azure OpenAI v1 API och Foundry Video Playground, med inbyggda ansvarsfulla AI-skydd.
Vanliga användningsområden:
- Marknadsförings- och kampanjvideor
- Filmiska konceptförhandsgranskningar och trailers
- Pedagogiskt och uppslukande medieinnehåll
Anmärkning
Det är viktigt att Sora-modeller för närvarande är de enda inbyggda videogenereringsmodellerna som tillhandahålls direkt via Foundry. Andra Foundry-modeller kan vara multimodala (text, bild, ljud), men de genererar inte videoutdata. Både Sora 1 och Sora 2 innehåller ansvarsfulla AI-begränsningar, till exempel begränsningar för verkliga personer, upphovsrättsskyddade tecken och vissa innehållstyper.
Videogenerering i Foundry Playground
När du har distribuerat en lämplig videogenereringsmodell kan du testa den i Foundry-portalens lekplats. På lekplatsen kan du också ange parametrar som videodimensioner och varaktighet.
Dina uppmaningar till videogenereringsmodellen bör innehålla en beskrivning av innehållet i den önskade videon. Efter några minuter skapar modellen en video.
Du kan ta en titt på exempelkoden på lekplatsen.
Exempelkoden använder REST-gränssnittet för videogenerering.
Använda REST-gränssnittet för videogenerering
Du kan använda Foundry REST-gränssnittet för att begära ett videogenereringsjobb och hämta den färdiga MP4-filen programmatiskt. Med programmeringsvideogenerering kan du automatisera videogenereringsprocessen.
Anmärkning
Ett REST API (Representational State Transfer API) är ett webbgränssnitt som låter program kommunicera med HTTP. Ett SDK som ett utvecklarvänligt verktyg som bygger på gränssnittet. Du kan alltid arbeta med det underliggande REST-API:et, särskilt om det inte finns något SDK i programmeringsspråket som du är bekant med. Du kan använda curl (förkortning för klient-URL) för att anropa eller prata med REST-API:et. Curl är ett kommandoradsverktyg som används för att skicka och ta emot data via Internet. I grunden: curl: gör HTTP-begäranden (och andra protokoll), skickar data till en server och tar emot och skriver ut serverns svar.
Videogenereringen är resursintensiv och körs vanligtvis som ett asynkront jobb.
Asynkron innebär att du:
- Skapa ett jobb
- Sök efter jobbets status
- Ladda ned videon när jobbet är klart.
Videogenereringstider är ofta 1–5 minuter, beroende på inställningarna. För att kunna köra ett asynkront jobb med hjälp av Foundry REST-gränssnittet behöver du:
- En Azure OpenAI/Foundry-resurs i en region som stöds och en Sora-distribution (du distribuerar Sora från Foundrys modeller + slutpunkter).
- En auktoriseringsmetod: API-nyckel eller Microsoft Entra-ID
Låt oss ta en titt på hur du använder Azure OpenAI v1 API med Sora 2-modellen.
Sora 2-API:et tillhandahåller distinkta slutpunkter för:
- Starta ett återgivningsjobb
- Avsökning för jobbets status
- Ladda ned videon
1. Skapa ett videojobb
I exemplet startar skriptet ett asynkront återgivningsjobb och returnerar ett svar som innehåller ett video-ID som ska avsökas.
Anmärkning
Bash är ett kommandoradsgränssnitt och skriptspråk. Curl är ett kommando som du kör i Bash.
curl -X POST "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/videos" \
-H "Content-Type: application/json" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
-d '{
"model": "sora-2",
"prompt": "A cinematic close-up of raindrops sliding down a neon-lit window at night.",
"size": "1280x720",
"seconds": "8"
}'
2. Kontrollera jobbstatus tills det är slutfört
I exemplet skickar skriptet kontinuerliga förfrågningar till slutpunkten tills jobbet når completed (eller failed).
curl -X GET "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/videos/{video_id}" \
-H "api-key: $AZURE_OPENAI_API_KEY"
3. Ladda ned den färdiga videon
Videon laddas ned först efter att statusen är completed.
curl -L "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/videos/{video_id}/content?variant=video" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
--output output.mp4
Videomodeller förbättras hela tiden och Microsoft Foundry gör det enkelt att integrera dem i kreativa lösningar. Prova sedan visionsaktiverade modeller, bildgenerering och videogenerering i Foundry själv.