Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Warning
Die Entwicklung der Prompt Flow-Funktion endete am 20. April 2026. Das Feature wird am 20. April 2027 vollständig eingestellt. Am Einstellungsdatum wechselt der Eingabeaufforderungsfluss in den schreibgeschützten Modus. Ihre vorhandenen Flüsse werden bis zu diesem Datum weiterhin ausgeführt.
Recommended action: Migrieren Sie Ihre Aufforderungsflussworkloads zu Microsoft Agent Framework vor dem 20. April 2027.
Das Open Model LLM-Tool ermöglicht die Verwendung verschiedener Open Model- und Foundational Models, z. B. Falcon und Llama 2, für die Verarbeitung natürlicher Sprachen in Azure Machine Learning Eingabeaufforderungsfluss.
Caution
Deprecation notice: Das Open Model LLM-Tool wurde zugunsten des tools LLM veraltet, die Unterstützung für alle Modelle bieten, die von der Azure KI-Modell-Ableitungs-API unterstützt werden, und bietet damit mehr Flexibilität.
So sieht es in Aktion auf der Visual Studio Code Eingabeaufforderungsflusserweiterung aus. In diesem Beispiel wird das Tool verwendet, um einen LlaMa-2-Chat-Endpunkt aufzurufen und "Was ist CI?" zu fragen.
Dieses Aufforderungsflusstool unterstützt zwei verschiedene LLM-API-Typen:
- Chat: Im vorherigen Beispiel gezeigt. Der Chat-API-Typ erleichtert interaktive Unterhaltungen mit textbasierten Eingaben und Antworten.
- Abschluss: Der Vervollständigungs-API-Typ wird verwendet, um einzelne Antworttext-Fertigstellungen basierend auf der bereitgestellten Eingabeaufforderung zu generieren.
Schnellübersicht: Wie verwende ich das Open Model LLM-Tool?
- Wählen Sie ein Modell aus dem Azure Machine Learning Modellkatalog aus, und rufen Sie es ab.
- Stellen Sie eine Verbindung mit der Modellbereitstellung her.
- Konfigurieren Sie die Einstellungen für das geöffnete Modell für die Llm-Tools.
- Bereiten Sie die Eingabeaufforderung vor.
- Führen Sie den Fluss aus.
Voraussetzungen: Modellbereitstellung
- Wählen Sie das Modell aus dem Azure Machine Learning Modellkatalog aus.
- Verwenden Sie die Schaltfläche Deploy, um das Modell auf einem Azure Machine Learning Online-Ableitungsendpunkt bereitzustellen.
- Verwenden Sie eine der Standardbereitstellungsoptionen.
Weitere Informationen finden Sie unter Deploy foundation models to endpoints for inferencing.
Voraussetzungen: Herstellen einer Verbindung mit dem Modell
Damit der Aufforderungsfluss Ihr bereitgestelltes Modell verwenden kann, müssen Sie eine Verbindung damit herstellen. Es gibt zwei Möglichkeiten, eine Verbindung herzustellen.
Endpoint connections
Sobald Ihr Fluss einem Azure Machine Learning- oder Microsoft Foundry-Arbeitsbereich zugeordnet ist, kann das Open Model LLM-Tool die Endpunkte in diesem Arbeitsbereich verwenden.
Using Azure Machine Learning- oder Foundry-Arbeitsbereiche: Wenn Sie den Eingabeaufforderungsfluss in einem der webseitenbasierten Browser-Arbeitsbereiche verwenden, stehen die Onlineendpunkte in diesem Arbeitsbereich zur Verfügung, die automatisch angezeigt werden.
Verwenden von VS Code oder Code zuerst: Wenn Sie den Eingabeaufforderungsfluss in VS Code oder eines der Code First-Angebote verwenden, müssen Sie eine Verbindung mit dem Arbeitsbereich herstellen. Das Open Model LLM-Tool verwendet den Azure.identity DefaultAzureCredential-Client für die Autorisierung. Eine Möglichkeit besteht darin , Anmeldeinformationswerte für die Umgebung festzulegen.
Custom connections
Das Open Model LLM-Tool verwendet die CustomConnection. Der Eingabeaufforderungsfluss unterstützt zwei Arten von Verbindungen:
Workspace-Verbindungen – Verbindungen, die in einem Azure Machine Learning Arbeitsbereich als geheime Schlüssel gespeichert sind. Während diese Verbindungen verwendet werden können, werden diese häufig in der Studio-Benutzeroberfläche erstellt und verwaltet. Informationen zum Erstellen einer benutzerdefinierten Verbindung in der Studio-Benutzeroberfläche finden Sie unter Erstellen einer benutzerdefinierten Verbindung.
Lokale Verbindungen – Verbindungen, die lokal auf Ihrem Computer gespeichert sind. Diese Verbindungen sind in der Studio-UX nicht verfügbar, können aber mit der VS Code-Erweiterung verwendet werden. Informationen zum Erstellen einer lokalen benutzerdefinierten Verbindung finden Sie unter Erstellen einer lokalen Verbindung.
Die zum Festlegen erforderlichen Schlüssel sind:
-
endpoint_url
- Dieser Wert befindet sich am zuvor erstellten Inferencing-Endpunkt.
-
endpoint_api_key
- Stellen Sie sicher, dass sie als geheimer Wert festgelegt wird.
- Dieser Wert befindet sich am zuvor erstellten Inferencing-Endpunkt.
-
model_family
- Unterstützte Werte: LLAMA, DOLLY, GPT2 oder FALCON
- Dieser Wert hängt vom Typ der Bereitstellung ab, auf die Sie abzielen.
Ausführen des Tools: Eingaben
Das Open Model LLM-Tool verfügt über viele Parameter, von denen einige erforderlich sind. Ausführliche Informationen finden Sie in der folgenden Tabelle. Sie können diese Parameter dem vorherigen Screenshot zur visuellen Übersichtlichkeit zuordnen.
| Name | Type | Description | Required |
|---|---|---|---|
| api | string | Der API-Modus, der vom verwendeten Modell und dem ausgewählten Szenario abhängt. Unterstützte Werte: (Abschluss | Chat) | Yes |
| endpoint_name | string | Name eines Online-Inferencing-Endpunkts mit einem unterstützten Modell, das darauf bereitgestellt wird. Hat Vorrang vor der Verbindung. | Yes |
| temperature | float | Die Zufälligkeit des generierten Texts. Der Standardwert ist 1. | No |
| max_new_tokens | integer | Die maximale Anzahl von Token, die im Abschluss generiert werden sollen. Der Standardwert ist 500. | No |
| top_p | float | Die Wahrscheinlichkeit, die beste Auswahl aus den generierten Token zu verwenden. Der Standardwert ist 1. | No |
| model_kwargs | dictionary | Diese Eingabe wird verwendet, um konfigurationsspezifisch für das verwendete Modell bereitzustellen. Beispielsweise kann das Llama-02-Modell {"temperature":0.4} verwenden. Standard: {} | No |
| deployment_name | string | Der Name der Bereitstellung, die auf den Endpunkt "Onlineinferencing" ausgerichtet werden soll. Wenn kein Wert übergeben wird, werden die Inferencing-Einstellungen für den Lastenausgleichsdatenverkehr verwendet. | No |
| prompt | string | Die Textaufforderung, die das Sprachmodell verwendet, um seine Antwort zu generieren. | Yes |
Outputs
| API | Return Type | Description |
|---|---|---|
| Completion | string | Der Text eines vorhergesagten Abschlusses |
| Chat | string | Der Text einer Antwort in der Unterhaltung |
Bereitstellen auf einem Onlineendpunkt
Wenn Sie einen Fluss mit dem Open Model LLM-Tool für einen Onlineendpunkt bereitstellen, gibt es einen zusätzlichen Schritt zum Einrichten von Berechtigungen. Während der Bereitstellung über die Webseiten gibt es eine Auswahl zwischen vom System zugewiesenen und vom Benutzer zugewiesenen Identitätstypen. Fügen Sie entweder mithilfe des Azure-Portals (oder einer ähnlichen Funktionalität) die Funktion "Reader"-Auftragsrolle zur Identität im Azure Machine Learning Arbeitsbereich oder ai Studio-Projekt hinzu, das den Endpunkt hosten soll. Die Bereitstellung des Eingabeaufforderungsflusses muss möglicherweise aktualisiert werden.