Analysieren von Auswertungsergebnissen mit Clusteranalyse (Vorschau)

Nachdem Sie eine oder mehrere Auswertungsläufe ausgeführt haben, können Sie eine Auswertungsclusteranalyse generieren, um Ihre Auswertungsergebnisse zu verstehen. Diese Analyse bietet eine intuitive Möglichkeit, die häufigsten Muster und Fehler in Ihrer Auswertung zu identifizieren, zusammen mit den empfohlenen nächsten Schritten zur Verbesserung der Bewertungsergebnisse.

In diesem Artikel wird erläutert, wie Sie eine Auswertungsclusteranalyse generieren und damit interagieren.

Voraussetzungen

• Ein Foundry-Projekt.
• Eine oder mehrere abgeschlossene Auswertungsdurchläufe.
• Ein bereitgestelltes Modell in Ihrem Projekt, das für die Generierung von Clusteranalysen verwendet werden soll. Weitere Informationen finden Sie unter Modellbereitstellungen erstellen.

Generieren einer Auswertungsclusteranalyse

1. Wählen Sie auf der Seite mit den Auswertungsdetails eine oder mehrere abgeschlossene Auswertungsläufe aus.
2. Wählen Sie "Clusteranalyse" aus. Ein Setupfenster wird geöffnet, in dem die geschätzte Zeit und die Tokenverwendung basierend auf der Anzahl der Beispiele in den ausgewählten Läufen angezeigt werden.
3. Wählen Sie ein Modell aus der Dropdownliste aus, das zum Generieren der Analyse verwendet werden soll.
4. Wählen Sie "Generieren" aus. Die Analyse wird generiert und die Clusterzuordnung wird automatisch geöffnet.

Clusteranalyse anzeigen

Die Clusteranalyse bietet eine intuitive Visualisierung der Leistung durch Gruppieren von Auswertungsergebnissen mit ähnlichen Problemen oder Antwortmustern. Es hilft Ihnen, wiederkehrende Fehlertypen schnell zu identifizieren, die Verteilung über Fehlerkategorien hinweg zu verstehen und Bereiche zur Verbesserung zu priorisieren.

Oben in der Ansicht werden Zusammenfassungsstatistiken für den Auswertungslauf angezeigt:

• Gesamtzahl der Stichproben – Gesamtzahl der ausgewerteten Antworten (z. B. 48).
• Cluster – Anzahl der automatisch identifizierten Cluster (z. B. 2).
• Bestanden/fehlgeschlagen – Aufschlüsselung erfolgreicher und problematischer Stichproben.
• Avg Score – Die durchschnittliche Qualitätsbewertung für den Lauf.

Visualisierung

Jeder Punkt stellt ein Beispiel aus Ihrem Auswertungsdatenset dar. Punkte werden nach semantischer Ähnlichkeit gruppiert, wobei einbettungsbasiertes Clustering von Modellausgaben und Feedbacksignalen verwendet wird.

• Farbe: Gibt die Clusterzuweisung an (z. B. unzureichende endgültige Antwort oder falsche Antwort).
• Position: Beispiele, die näher beieinander liegen, teilen ähnliche Merkmale oder Probleme.

Detailbereich

Cluster

Wenn Sie einen Cluster auswählen, wird ein seitliches Panel geöffnet, das Folgendes umfasst:

• Ausgewählter Cluster – Name der Problemgruppe der obersten Ebene.
• Eintragsanzahl – Gesamtanzahl der Stichproben innerhalb dieses Clusters.
• Untercluster – Aufschlüsselung verwandter Unterkategorien.
• Beschreibung – Automatisch generierte Diagnosezusammenfassung zur Erläuterung des wahrscheinlichen Ursache- oder Merkmalsmusters
• Empfehlungen: Vorgeschlagene nächste Schritte zur Abschwächung oder Verbesserung von Agenten.

Untercluster

Durch Auswählen eines Unterclusters wird ein seitliches Panel geöffnet, das Folgendes umfasst:

• Cluster – Gibt den übergeordneten Cluster an, zu dem dieser Untercluster gehört (z. B. inadequate_final_answer).
• Ausgewählter Teilcluster – Die spezifische Teilmenge, die untersucht wird (z. B. "invalid_or_missing_api_key" als ein typisches Beispiel).
• Eintragsanzahl – Anzahl einzelner Stichproben, die unter diesem Untercluster gruppiert sind.
• Tabs
  • Analyse – Stellt Zusammenfassende Statistiken, Bewertungsdurchschnitte und qualitative Erkenntnisse bereit (sofern verfügbar).
  • Einträge – Listet jede Stichprobe (Eintrags-ID) im Untercluster mit ihren einzelnen Bewertungen auf, wie z. B. die Flüssigkeit, Fundiertheit oder Genauigkeit.

Eintrags-ID

Durch Auswählen einer Punkt-/Eintrags-ID wird ein Seitenbereich geöffnet, der Folgendes umfasst:

• Clusterhierarchie
  • Zeigt den vollständigen Pfad an, zu dem dieser Eintrag gehört: Cluster → Subcluster → Eintrags-ID. Beispiel: inadequate_final_answer → invalid_or_missing_api_key → Eintrags-ID: 17-Fluency.
• Registerkarten
• Unterhaltung – Zeigt die Volltextinteraktion für das ausgewählte Beispiel an:
  • Kontextzusammenfassung (falls zutreffend) – Ein beliebiger Hintergrund oder vorheriger Kontext, der in der Auswertung verwendet wird.
  • Abfrage – Die Modellaufforderung oder Benutzerfrage (z. B. "Wie sende ich einen FSA-Erstattungsanspruch?").
  • Antwort – Die generierte Ausgabe des Modells für diese Abfrage.
• Metadaten – Enthält zusätzliche Auswertungsinformationen wie Punktzahlen, Werte, Zeitstempel, Agent-IDs und Trace-IDs.

Filterbereich

Im Filterbereich auf der rechten Seite der Clusteranalyseansicht können Sie anpassen, wie Cluster für die gezielte Inspektion angezeigt werden.

• Farbe nach
  • Hier können Sie anpassen, wie die Beispiele in der Visualisierung farbcodiert sind.
  • Zu den Optionen gehören in der Regel:
    • Cluster – Farbenbeispiele nach Problemkategorie der obersten Ebene.
    • Subcluster – Farbenbeispiele nach differenzierteren Unterkategorien innerhalb der einzelnen Cluster.
    • Oder Auswertungsergebnis, Auswertungstyp, Bewertungstyp, Bewertung und Agent-ID.

• Erweiterte Filterung
  • Stellt Tools bereit, um die Visualisierung auf bestimmte Teilmengen von Daten zu konzentrieren.
  • Sie können Filter basierend auf Metadaten- oder Auswertungsattributen definieren.
    • Parameter auswählen – Wählen Sie das Feld aus, nach dem gefiltert werden soll (z. B. Punktzahl, Bewertungsart, Zeitstempel).
    • Gleich / Enthält / Ungleich – Definieren Sie die Bedingung für die Filterung.
    • Wählen Sie "Wert" aus, oder geben Sie den übereinstimmenden Wert ein.
    • Filter hinzufügen – Wenden Sie die Bedingung an, um die Ansicht dynamisch zu aktualisieren.

Herunterladen der Analyse

Um die Analyse offline anzuzeigen, wählen Sie "Herunterladen " aus, um eine Kopie der Analyse im CSV-Format zu erhalten und in anderen Anwendungen anzuzeigen.

Nächste Schritte

Verwenden Sie die Erkenntnisse aus der Clusteranalyse, um:

• Eingabeaufforderungen verfeinern – Aktualisieren Sie die Anweisungen Ihres Agents, um wiederkehrende Fehlermuster zu beheben, die in den Clustern identifiziert wurden.
• Neu trainieren oder optimieren – Verwenden Sie identifizierte Fehlerkategorien als Signal für die Feinabstimmung der Daten curation.
• Erneute Auswertung – Führen Sie nach dem Vornehmen von Änderungen eine neue Auswertung aus, und generieren Sie eine neue Clusteranalyse, um Ergebnisse zu vergleichen. Siehe Ausführen von Auswertungen aus dem SDK.

Problembehandlung

Verwandte Inhalte

• Anzeigen von Auswertungsergebnissen im Gießereiportal
• Ausführen von Auswertungen aus dem SDK
• So bewerten Sie generative KI-Modelle und -Anwendungen mit Foundry