Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In Azure KI-Suche ist semantic ranker ein Feature, das die Suchrelevanz deutlich verbessert, indem Microsoft Sprachverständnismodelle zum Rerankieren von Suchergebnissen verwendet werden. Semantic Ranker ist auch in Agentic Retrieval integriert. Dieser Artikel ist eine allgemeine Einführung, mit der Sie die Verhaltensweisen und Vorteile des semantischen Rangierers verstehen können.
Der semantische Rangierer ist ein Premium-Feature, das von der Nutzung abgerechnet wird, aber Sie können es kostenlos verwenden, vorbehaltlich der Dienstbeschränkungen für die kostenlose Stufe. Wir empfehlen diesen Artikel für den Hintergrund, aber wenn Sie lieber loslegen möchten, führen Sie die folgenden Schritte aus.
Was ist semantische Rangfolge?
Der semantische Ranker ist eine Sammlung von Fähigkeiten auf der Abfrageseite, die die Qualität eines anfänglichen BM25-bewerteten oder RRF-bewerteten Suchergebnisses für textbasierte Abfragen, den Textteil von Vektorabfragen und Hybridabfragen verbessern. Die semantische Rangfolge erweitert die Abfrageausführungspipeline auf drei Arten:
Zunächst wird immer eine sekundäre Rangfolge über einer anfänglichen Ergebnismenge hinzugefügt, die mit BM25 oder Reziproker Rangfusion (RRF) bewertet wurde. Diese sekundäre Rangfolge verwendet mehrsprachige, deep learning-Modelle, die von Microsoft Bing angepasst wurden, um die semantisch relevantesten Ergebnisse zu fördern.
Zweitens werden Beschriftungen zurückgegeben und optional Antworten in der Antwort extrahiert, die Sie auf einer Suchseite rendern können, um die Sucherfahrung des Benutzers zu verbessern.
Drittens, wenn Sie die Abfrageumschreibung aktivieren, wird eine anfängliche Abfragezeichenfolge in mehrere semantisch ähnliche Abfragezeichenfolgen erweitert.
Sekundäre Rangfolge und "Antworten" gelten für die Abfrageantwort. Die Abfrageumschreibung ist Teil der Abfrageanforderung.
Hier sind die Funktionen des semantischen Rerankers.
| Fähigkeit | Beschreibung |
|---|---|
| L2-Rangfolge | Verwendet den Kontext oder die semantische Bedeutung einer Abfrage, um eine neue Relevanzbewertung über vorrangierte Ergebnisse zu berechnen. |
| Semantische Beschriftungen und Hervorhebungen | Extrahiert Sätze und Ausdrücke aus Feldern, die den Inhalt am besten zusammenfassen, mit Hervorhebungen über wichtigen Passagen zum einfachen Scannen. Beschriftungen, die ein Ergebnis zusammenfassen, sind nützlich, wenn einzelne Inhaltsfelder für die Suchergebnisseite zu dicht sind. Hervorgehobener Text hebt die relevantesten Begriffe und Ausdrücke hervor, damit Benutzer schnell feststellen können, warum eine Übereinstimmung als relevant angesehen wurde. |
| Semantische Antworten | Eine optionale und zusätzliche Unterstruktur, die von einer semantischen Abfrage zurückgegeben wird. Sie stellt eine direkte Antwort auf eine Abfrage bereit, die wie eine Frage aussieht. Es erfordert, dass ein Dokument Text mit den Merkmalen einer Antwort enthält. |
| Abfrageumschreibung | Mithilfe von Textabfragen oder dem Textteil einer Vektorabfrage erstellt der semantische Rangierer bis zu 10 Varianten der Abfrage, z. B. Korrigieren von Tippfehlern oder Rechtschreibfehlern oder das Rephrasieren einer Abfrage mithilfe generierter Synonyme. Die umgeschriebene Abfrage wird auf der Suchmaschine ausgeführt. Die Ergebnisse werden unter Verwendung der BM25- oder RRF-Methode bewertet und anschließend vom semantischen Ranker erneut bewertet. |
Wie der semantische Ranker funktioniert
Der semantische Rangfolger akzeptiert eine Abfrage und Ergebnisse und sendet sie dann an Sprachverständnismodelle, die von Microsoft gehostet werden. Es durchsucht nach besseren Übereinstimmungen.
In der folgenden Abbildung wird das Konzept erläutert. Betrachten Sie den Begriff "Kapital". Es hat unterschiedliche Bedeutungen, je nachdem, ob es sich bei dem Kontext um Finanzen, Recht, Geographie oder Grammatik handelt. Durch das Sprachverständnis erkennt der semantische Rangierer Kontext und fördert Ergebnisse, die der Abfrageabsicht entsprechen.
Die semantische Rangfolge verwendet viele Ressourcen und Zeit. Um die Verarbeitung innerhalb der erwarteten Latenz eines Abfragevorgangs abzuschließen, konsolidiert und reduziert das System Eingaben für den semantischen Rangierer. Dieser Ansatz hilft, den Reranking-Schritt so schnell wie möglich abzuschließen.
Die semantische Rangfolge umfasst drei Schritte:
- Sammeln und Zusammenfassen von Eingaben
- Ergebnisse mithilfe des semantischen Rankers bewerten
- Neu bewertete Ergebnisse, Beschriftungen und Antworten ausgeben
Wie das System Eingaben erfasst und zusammenfasst
Bei der semantischen Rangfolge übergibt das Abfragesubsystem Suchergebnisse als Eingabe für Zusammenfassungs- und Bewertungsmodelle. Da die Bewertungsmodelle Eingabegrößeneinschränkungen aufweisen und sehr intensiv verarbeitet werden, müssen Suchergebnisse für eine effiziente Handhabung angepasst und strukturiert (zusammengefasst) werden.
Der semantische Rang beginnt mit einem BM25-bewerteten Ergebnis aus einer Textabfrage oder einem RRF-bewerteten Ergebnis aus einem Vektor oder einer Hybridabfrage. Die Reranking-Übung verwendet nur Text. Auch wenn die Ergebnisse mehr als 50 umfassen, werden nur die 50 besten zur semantischen Rangfolge weitergereicht. In der Regel verwendet semantische Rangfolge informations- und beschreibende Felder.
Für jedes Dokument im Suchergebnis akzeptiert das Zusammenfassungsmodell bis zu 2.000 Token, wobei ein Token ca. 10 Zeichen beträgt. Das Modell fasst Eingaben aus den Feldern "title", "keyword" und "content" zusammen, die in der semantischen Konfiguration aufgeführt sind.
Das System schneidet übermäßig lange Zeichenfolgen ab, um sicherzustellen, dass die Gesamtlänge den Eingabeanforderungen des Zusammenfassungsschritts entspricht. Diese Kürzungsübung zeigt, warum es wichtig ist, Ihrer semantischen Konfiguration Felder in Prioritätsreihenfolge hinzuzufügen. Wenn Sie sehr große Dokumente mit textlastigen Feldern haben, ignoriert das System alles nach dem maximalen Grenzwert.
Semantikfeld Tokenlimit Titel 128 Tokens "Schlüsselwörter 128 Token "Inhalt" verbleibende Token Die Zusammenfassungsausgabe ist eine Zusammenfassungszeichenfolge für jedes Dokument, bestehend aus den relevantesten Informationen aus jedem Feld. Das System sendet Zusammenfassungszeichenfolgen für die Bewertung an den Rangierer und an Computerlesemodelle für Beschriftungen und Antworten.
Ab November 2024 beträgt die maximale Länge jeder generierten Zusammenfassungszeichenfolge, die an den semantischen Rangierer übergeben wird, 2.048 Token. Zuvor waren es 256 Token.
Wie Ergebnisse bewertet werden
Das System bewertet die Ergebnisse basierend auf der Beschriftung und allen anderen Inhalten aus der Zusammenfassungszeichenfolge, die die Länge von 2.048 Tokens ausfüllt.
Das System wertet Beschriftungen für die konzeptionelle und semantische Relevanz relativ zur von Ihnen bereitgestellten Abfrage aus.
Das System weist jedem Dokument basierend auf der semantischen Relevanz des Dokuments für die angegebene Abfrage einen @search.rerankerScore zu. Die Bewertungen reichen von 4 bis 0 (hoch bis niedrig), wobei ein höherer Wert eine höhere Relevanz angibt.
Ergebnis Bedeutung 4.0 Das Dokument ist sehr relevant und beantwortet die Frage vollständig, obwohl die Passage möglicherweise zusätzlichen Text enthält, der nicht mit der Frage in Zusammenhang steht. 3.0 Das Dokument ist relevant, aber es fehlen Details, die es vollständig machen würden. 2.0 Das Dokument ist etwas relevant; sie beantwortet die Frage entweder teilweise oder nur einige Aspekte der Frage. 1.0 Das Dokument bezieht sich auf die Frage und beantwortet einen kleinen Teil davon. 0.0 Das Dokument ist irrelevant. Das System listet Übereinstimmungen nach Punktezahl in absteigender Reihenfolge auf und nimmt sie in die Payload der Abfrageantwort auf. Die Nutzlast enthält Antworten, Klartext und hervorgehobene Beschriftungen sowie alle Felder, die Sie als abrufbar oder in einer Auswahlklausel spezifiziert haben.
Hinweis
Bei jeder abfrage können die Verteilungen von @search.rerankerScore aufgrund von Bedingungen auf Infrastrukturebene geringfügige Abweichungen aufweisen. Aktualisierungen des Bewertungsmodells können sich auch auf die Verteilung auswirken. Wenn Sie aus diesen Gründen benutzerdefinierten Code für Mindestschwellenwerte schreiben oder die Schwellenwerteigenschaft für Vektor- und Hybridabfragen festlegen, machen Sie die Grenzwerte nicht zu granular.
Ergebnisse des semantischen Ranking-Systems
Aus jeder Zusammenfassungszeichenfolge finden die Computerlesemodelle Passagen, die am repräsentativsten sind.
Die Ergebnisse sind:
Eine semantische Beschriftung für das Dokument. Jede Beschriftung ist in einer Nur-Text-Version und einer Hervorhebungsversion verfügbar und beträgt häufig weniger als 200 Wörter pro Dokument.
Eine optionale semantische Antwort, vorausgesetzt, Sie haben den
answersParameter angegeben, die Abfrage wurde als Frage gestellt, und eine Passage wird in der langen Zeichenfolge gefunden, die eine wahrscheinliche Antwort auf die Frage bietet.
Beschriftungen und Antworten sind immer wortgetreuer Text aus Ihrem Index. In diesem Workflow gibt es kein generatives KI-Modell, das neue Inhalte erstellt oder komponiert.
Semantische Funktionen und Einschränkungen
Was der semantische Rangierer tun kann :
Fördern von Übereinstimmungen, die der Absicht der ursprünglichen Abfrage semantisch näher sind.
Suchen Sie Zeichenfolgen, die als Beschriftungen und Antworten verwendet werden sollen. Die Antwort gibt Beschriftungen und Antworten zurück, die Sie auf einer Suchergebnisseite rendern können.
Was der semantische Rangierer nicht tun kann , besteht darin, die Abfrage über den gesamten Korpus erneut auszuführen, um semantisch relevante Ergebnisse zu finden. Die semantische Rangfolge rerankt das vorhandene Resultset, das aus den top 50 Ergebnissen besteht, die vom Standardbewertungsalgorithmus bewertet wurden. Darüber hinaus kann semantischer Rangierer keine neuen Informationen oder Zeichenfolgen erstellen. Die Sprachmodelle extrahieren Beschriftungen und Antworten wortwörtlich aus Ihren Inhalten. Wenn die Ergebnisse keine antwortähnlichen Texte enthalten, werden sie keine erzeugen.
Obwohl die semantische Rangfolge in jedem Szenario nicht von Vorteil ist, können bestimmte Inhalte erheblich von ihren Funktionen profitieren. Die Sprachmodelle im semantischen Rangierer funktionieren am besten für durchsuchbare Inhalte, die informationsreich und strukturiert als Prose sind. Eine Wissensdatenbank, Onlinedokumentation oder andere Dokumente mit beschreibenden Inhalten ziehen den größten Nutzen aus semantischen Ranking-Funktionen.
Die zugrunde liegende Technologie stammt von Bing und Microsoft Research und ist als Add-On-Feature in die Azure KI-Suche-Infrastruktur integriert. Weitere Informationen zu den Forschungs- und KI-Investitionen, die den semantischen Rangierer unterstützen, finden Sie im Artikel Wie die KI von Bing Azure KI-Suche antreibt (Microsoft Research Blog).
Das folgende Video bietet eine Übersicht über die Funktionen.
Wie der semantische Ranker Synonymkarten verwendet
Wenn Sie die Unterstützung für Synonymzuordnungen aktivieren, die einem Feld in Ihrem Suchindex zugeordnet sind, und dieses Feld in die Semantikbewertungskonfiguration einschließen, wendet der semantische Rangfolger automatisch die konfigurierten Synonyme während des Reranking-Prozesses an.
Verfügbarkeit und Preise
Der semantische Rangierer ist in ausgewählten Bereichen verfügbar. Sie kann als eigenständiges Feature oder als integrierte Komponente des agentischen Abrufs verwendet werden. Jedes Feature wird unabhängig abgerechnet.
Semantischer Ranker bietet einen kostenlosen Plan (Standard), mit einem monatlichen kostenfreien Anfragelimit und einem Plan für die Pay-as-you-go-Preisgestaltung, nachdem das kostenfreie Limit aufgebraucht wurde. Weitere Informationen finden Sie unter Aktivieren oder Deaktivieren der Abrechnung mit semantischen Rangfolgern.
Gebühren für den semantischen Rangierer fallen an, wenn Abfrageanforderungen queryType=semantic einschließen und die Suchzeichenfolge nicht leer ist (z. B. search=pet friendly hotels in New York). Wenn Ihre Suchzeichenfolge leer ist (search=*), werden Sie nicht belastet, auch wenn der queryType auf semantisch festgelegt ist.
Erste Schritte
(Optional) Wechseln Sie zum Standardabrechnungsplan für die Nutzung über das kostenlose monatliche Kontingent hinaus.
Konfigurieren Sie den semantischen Rangierer in einem Suchindex.
Richten Sie Abfragen ein, um semantische Beschriftungen und Hervorhebungen zurückzugeben.
(Optional) Gibt semantische Antworten zurück.