Gießerei Lokal

Voraussetzungen

Installieren Sie Foundry Local und die lokalen Laufzeitkomponenten, bevor Sie Agent Framework für ein lokales Modell ausführen. Die erste Ausführung kann eine Weile dauern, da das ausgewählte Modell möglicherweise heruntergeladen und geladen werden muss.

Einrichtung

pip install agent-framework-foundry-local --pre

Konfiguration

Festlegen des lokalen Standardmodells mit:

FOUNDRY_LOCAL_MODEL="phi-4-mini"

Sie können das Modell auch explizit mit FoundryLocalClient(model="phi-4-mini")übergeben.

Erstellen eines lokalen Agents

import asyncio

from agent_framework import Agent
from agent_framework.foundry import FoundryLocalClient

async def main():
    agent = Agent(
        client=FoundryLocalClient(model="phi-4-mini"),
        name="LocalAgent",
        instructions="You are a helpful local assistant.",
    )
    result = await agent.run("What's the weather like in Seattle?")
    print(result)

asyncio.run(main())

Tools

FoundryLocalClient ist ein lokaler Chatclient, der mit einem Standard Agentgekoppelt ist, sodass die unterstützten Tools diejenigen sind, die das ausgewählte lokale Modell tatsächlich aufrufen kann – sie werden nicht von einer gehosteten Laufzeit bereitgestellt. Gehostete Foundry-Tooltypen (get_code_interpreter_tool, get_web_search_toolusw.) sind nicht verfügbar auf FoundryLocalClient.

Modellfunktionen

Nicht jedes lokale Modell unterstützt dieselben Features. Funktionsaufrufe und strukturierte Ausgaben hängen vom ausgewählten Modell ab. Das FoundryLocalClient.manager Hilfsprogramm kann verwendet werden, um den lokalen Katalog und die unterstützten Funktionen zu überprüfen, bevor Sie einen Agent ausführen.

Für zusätzliche Laufzeitsteuerelemente FoundryLocalClient werden auch Optionen wie device, , bootstrapund prepare_model.