Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Note
Content Understanding est désormais un service en disponibilité générale (GA) avec la publication de la version d’API 2025-11-01. Pour plus d’informations, consultez Nouveautés.
Azure Content Understanding in Foundry Tools est un outil Foundry Tool disponible dans le cadre de la ressource de Microsoft Foundry Resource dans le portail Azure. Il utilise l’IA générative pour traiter et ingérer de nombreux types de contenu, notamment des documents, des images, des vidéos et de l’audio, dans un format de sortie défini par l’utilisateur. Content Understanding offre un processus rationalisé pour traiter de grandes quantités de données non structurées, réduisant le temps nécessaire pour atteindre la valeur en générant un résultat que vous pouvez intégrer dans les workflows d’automatisation et d’analyse.
Pourquoi utiliser Content Understanding ?
Content Understanding accélère la rapidité de retour sur investissement en permettant le traitement automatisé des données non structurées avec des scores de confiance, en minimisant la révision manuelle et en réduisant les coûts opérationnels. Les principaux avantages sont les suivants :
Simplifiez et rationalisez les flux de travail. Content Understanding normalise l’extraction et la classification du contenu, de la structure et des insights provenant de différents types de contenu dans un processus unifié.
Simplifiez l’extraction de champs. L’extraction de champs de Content Understanding facilite la génération d’une sortie structurée à partir de contenu non structuré. Définissez un schéma pour extraire, classifier ou générer des valeurs de champ sans ingénierie d’invite complexe.
Améliorez la précision. Content Understanding utilise plusieurs modèles IA pour analyser et valider simultanément des informations, ce qui entraîne des résultats plus précis et fiables.
Scores de confiance et ancrage. Content Understanding garantit la précision des valeurs extraites tout en minimisant le coût de la révision humaine.
Classifiez les types de contenu. Content Understanding vous permet de classifier vos types de documents afin de simplifier votre capacité à traiter le contenu. Cette fonctionnalité est désormais disponible dans une approche unifiée de l’API d’analyse.
Analyseurs prédéfinis spécifiques au secteur. Content Understanding inclut des analyseurs prédéfinis conçus pour des scénarios spécifiques au secteur, notamment la préparation fiscale, le traitement des documents d’approvisionnement, l’analyse des contrats, l’analyse du centre d’appels, l’analyse des médias, etc.
Cas d’utilisation de la compréhension du contenu
Traitement intelligent des documents (IDP). Content Understanding permet un traitement intelligent des documents en convertissant des documents non structurés en données structurées avec une grande précision. Les scores de confiance et les fonctionnalités de base garantissent la qualité des données tout en minimisant la révision manuelle et en réduisant les coûts opérationnels. Par exemple, automatisez le traitement des factures, l’analyse des contrats et la gestion des revendications en extrayant et en validant des champs à partir de documents complexes.
Applications agentiques. Content Understanding transforme les entrées de fichier désordonnées et multimodales en entrées de fichier prédictibles et standardisées. Il fournit des représentations Markdown propres pour les workflows de connaissance et de raisonnement, assurant ainsi la clarté et le contexte des tâches en aval. Lorsque des données structurées sont requises, elles fournissent des champs clé-valeur alignés sur le schéma avec des scores de confiance et une mise à l’échelle, ce qui permet aux agents d’automatiser les décisions avec précision et la facilité d’audit.
Génération de recherche et de récupération augmentée (RAG). Content Understanding permet l’ingestion du contenu de toute modalité dans un index de recherche, avec une prise en charge étendue de la description et de l’analyse des figures pour rendre vos données plus accessibles. Le service Content Understanding offre plusieurs analyseurs prédéfinis qui sont affinés pour vous offrir les meilleures sorties pour vos scénarios de recherche RAG.
Automatisation des processus robotiques (RPA). Content Understanding s’intègre en toute transparence aux flux de travail RPA en fournissant des données structurées extraites de différents types de contenu. Cette fonctionnalité permet l’automatisation de bout en bout des processus métier qui nécessitent une compréhension du contenu, comme le traitement des commandes, l’intégration des clients et les flux de travail de conformité réglementaire.
Analytique et création de rapports : les sorties de champ extraites de Content Understanding améliorent l’analytique et les rapports, ce qui permet aux entreprises d’obtenir des insights précieux, d’effectuer une analyse plus approfondie et de prendre des décisions éclairées en fonction de rapports précis.
Optimiser le flux de travail par le biais de la classification : la fonctionnalité de classification de Content Understanding vous permet de catégoriser les documents en premier, avant de les router vers l’analyseur associé pour l’extraction.
Applications spécifiques au secteur
Voici quelques applications courantes spécifiques au secteur pour Content Understanding :
| Application | Description |
|---|---|
| Automatisation fiscale | Les sociétés de préparation fiscale peuvent utiliser Content Understanding pour générer une vue unifiée des informations provenant de divers documents et créer des déclarations fiscales complètes. |
| Traitement des demandes hypothécaires | Analysez la documentation supplémentaire de support et les demandes d’hypothèque pour déterminer si un acheteur potentiel d’habitation a fourni toute la documentation nécessaire pour sécuriser une hypothèque. |
| Vérification du contrat de facturation | Passez en revue attentivement les factures et les contrats contractuels avec les clients. Appliquez un processus de raisonnement en plusieurs étapes pour analyser les données. Assurez-vous que les conclusions, telles que la validation de la cohérence entre la facture et le contrat, sont précises et approfondies. |
| Ingestion de génération augmentée de récupération (RAG) | Les organisations peuvent améliorer leurs flux de travail RAG en extrayant des informations complètes à partir de documents qui seraient autrement omises. Les descriptions de la figure capturent des informations à partir de graphiques, de diagrammes et de visualisations, ce qui les rend accessibles à la recherche. L’analyse de disposition conserve la structure des documents, y compris les tables, les sections et les hiérarchies. La détection des annotations capture les notes manuscrites, les soulignements et les ratures. |
| Analyse post-appel | Les entreprises et les centres d’appels peuvent générer des insights à partir d’enregistrements d’appels pour suivre les indicateurs de performance clés (KPI), améliorer l’expérience produit, générer des insights métier, créer des expériences client différenciées et répondre aux requêtes plus rapidement et plus précisément. |
| Gestion des ressources multimédias | Les éditeurs de logiciels et de médias peuvent utiliser Content Understanding pour extraire des informations plus riches et ciblées à partir de vidéos pour les solutions de gestion des ressources multimédias. |
| Service client renforcé | Les entreprises disposant de canaux de support peuvent utiliser Content Understanding pour la recherche RAG pour améliorer la qualité des réponses en fonction des données des problèmes et commentaires des clients précédents. |
Composants clés de Content Understanding
L’infrastructure Content Understanding traite le contenu non structuré par plusieurs étapes, en transformant les entrées en sorties structurées et actionnables. Le tableau suivant décrit chaque composant de gauche à droite, comme illustré dans le diagramme :
| Composant | Description |
|---|---|
| Entrées | Le contenu source que Content Understanding traite. Prend en charge plusieurs modalités, notamment documents, images, vidéo et audio. En savoir plus sur les types de fichiers d’entrée. |
| Analyseur | Composant principal qui définit la façon dont votre contenu est traité. Il configure les paramètres d’extraction de contenu, le schéma d’extraction de champ et les déploiements de modèles. Une fois configuré, l’analyseur applique constamment ces paramètres à toutes les données entrantes. Content Understanding offre des analyseurs prédéfinis pour les scénarios courants et prend en charge les analyseurs personnalisés adaptés à vos besoins. En savoir plus sur les analyseurs, les analyseurs prédéfinis et les analyseurs personnalisés. |
| Extraction de contenu | Transforme une entrée non structurée en texte et métadonnées normalisés, structurés. Extrait du texte à l’aide de la reconnaissance optique de caractères (OCR), identifie les marques de sélection et les codes-barres, détecte les formules et reconnaît les éléments de disposition tels que les paragraphes, les sections et les tableaux. Pour l’audio et la vidéo, transcrit la voix et identifie les éléments visuels clés. En savoir plus sur l’extraction de contenu. |
| Segmentation | Divise les documents ou vidéos en sections logiques pour le traitement ciblé. Configuré à l’aide de la enableSegment propriété dans le schéma de l’analyseur. Permet de diviser le contenu en blocs significatifs, comme le fractionnement d’un document par type de document ou la division d’une vidéo en scènes. En savoir plus sur la segmentation et la classification. |
| Extraction de champ | Génère des paires clé-valeur structurées basées sur votre schéma défini. Consultez les limites de service pour les types de champs pris en charge. Les champs peuvent être générés à l’aide de trois méthodes : • Extraire : extraire directement les valeurs à mesure qu’elles apparaissent dans le contenu d’entrée (pris en charge uniquement pour les documents), telles que les dates des reçus ou des détails d’élément des factures. • Classifier : classifier le contenu à partir d’un ensemble prédéfini de catégories, comme le sentiment d’appel ou le type de graphique, et le router vers l’analyseur approprié pour l’analyse. • Générer : générez des valeurs librement à partir de données d’entrée, telles que la synthèse d’une conversation audio ou la création de descriptions de scènes à partir de vidéos. En savoir plus sur l’extraction de champs. |
| Scores de confiance | Fournit des estimations de fiabilité comprises entre 0 et 1 pour chaque valeur de champ extraite. Les scores élevés indiquent une extraction de données précise, ce qui permet un traitement direct dans les workflows d’automatisation. Activé à l’aide du estimateFieldSourceAndConfidence paramètre dans les analyseurs de documents. En savoir plus sur les scores de confiance. |
| Mise à la terre | Identifie les régions spécifiques du contenu où chaque valeur a été extraite ou générée. Le traçage des sources permet aux utilisateurs dans les scénarios d’automatisation de vérifier rapidement l’exactitude des valeurs de champ en les retracer jusqu’à leur origine dans le contenu source. Activé à l’aide du estimateFieldSourceAndConfidence paramètre dans les analyseurs de documents. En savoir plus sur la mise à l’terre. |
| Contextualisation | La couche de contextualisation prépare le contexte pour les modèles génératifs et post-traite leur sortie. Il inclut la normalisation et la mise en forme de sortie, le calcul de base source, le calcul du score de confiance et l’ingénierie contextuelle pour optimiser l’utilisation du modèle. En savoir plus sur la contextualisation. |
| Modèles Foundry | Les grands modèles de langage Foundry (LLMs) et les modèles d’incorporation qui alimentent les fonctionnalités génératives. Vous apportez vos propres déploiements de modèles de génération pris en charge et de modèles d’incorporation de texte pour des exemples d’apprentissage. Content Understanding utilise ces modèles pour l’extraction de champs, l’analyse des figures et d’autres fonctionnalités basées sur l’IA. En savoir plus sur les modèles et les déploiements. |
| Sortie structurée | Le résultat final est fourni dans votre format choisi. Le contenu peut être généré en tant que Markdown pour les scénarios de recherche et de récupération, ou en tant que JSON structuré correspondant à votre schéma défini pour les flux de travail d’automatisation et d’analytique. |
Expériences de compréhension du contenu
Content Understanding est un service Foundry. Pour utiliser Content Understanding, vous devez créer une ressource Foundry Azure. Content Understanding Studio complète l’expérience Foundry si vous avez besoin de fonctionnalités avancées. Pour obtenir une répartition plus détaillée de chaque service, consultez Comparaison des fonctionnalités : Présentation du contenu dans Foundry et Content Understanding Studio.
- Content Understanding dans le portail Foundry (nouveau) (bientôt disponible) : le portail Foundry NextGen vous permet de créer des flux de travail agentiques avancés et complets avec l’outil Content Understanding.
- Content Understanding Studio : expérience d’expérience utilisateur complémentaire, Content Understanding Studio permet une transition fluide si vous passez de Document Intelligence. Il offre une expérience optimisée pour l’amélioration des performances de l’analyseur, notamment l’amélioration des analyseurs personnalisés à l’aide de techniques d’étiquetage des données. Il prend également en charge la création d’analyseurs personnalisés basés sur la classification.
IA responsable
Content Understanding est conçu pour se protéger contre le traitement de contenus nuisibles, tels que la violence graphique et la gore, les discours haineux et l’intimidation, l’exploitation, les abus, etc. Le service utilise l’infrastructure Foundry standard, y compris la Azure AI Sécurité du Contenu, en intégrant les résultats de sécurité du contenu dans la sortie Content Understanding. Pour plus d’informations et une liste complète de contenu interdit, consultez la note de transparence et le Code de conduite.
Filtrage de contenu et garde-fous
Content Understanding présente les résultats de filtrage de contenu directement à partir du déploiement du modèle Foundry qu'il utilise. Chaque déploiement de modèle Foundry a une instance guardrails associée qui évalue les invites envoyées au modèle et les achèvements retournés. Lorsque l’instance Guardrails signale le contenu, le résultat est inclus dans la réponse d’analyse content Understanding sous la forme d’un content_filters tableau.
Pour modifier le comportement de filtrage du contenu pour vos analyseurs, mettez à jour l’instance Guardrails associée au déploiement du modèle dans votre projet Azure AI Foundry. Vous pouvez ajuster les seuils pour chaque catégorie ou basculer du blocage en mode annotant. Pour plus d’informations, consultez filtrage de contenu.
Vous pouvez modifier des filtres de contenu pour ajuster la gravité bloquée ou annoter plutôt que bloquer le contenu, ce qui vous permet de gérer du contenu potentiellement dangereux dans votre propre flux de travail.
Pour plus d’informations sur les types de filtre de contenu, consultez Types de filtre de contenu.
Important
- Appliquez des filtres de contenu modifiés à l’aide de ce formulaire : Azure Révision d’accès limité OpenAI : Filtres de contenu modifiés.
- Pour plus d’informations, consultez filtrage de contenu.
Capacités faciales
Content Understanding fournit des fonctionnalités de description des visages qui peuvent générer des descriptions détaillées des visages dans le contenu vidéo et image. Lorsqu’il est activé, le modèle génératif décrit les attributs du visage tels que les cheveux du visage et l’expression faciale, et peut identifier des personnes ou des célébrités de premier plan. En savoir plus sur la description des visages dans le traitement vidéo.
Confidentialité et sécurité des données
Passez en revue les stratégies de Microsoft sur les données client lors de l'utilisation du service Content Understanding. Pour plus d’informations, consultez la page Données, protection et confidentialité .
Important
Si vous utilisez Microsoft produits ou services pour traiter les données biométriques, vous êtes responsable de : (i) en fournissant des avis aux personnes concernées, notamment en ce qui concerne les périodes de rétention et la destruction ; (ii) obtenir le consentement des personnes concernées ; et (iii) la suppression des données biométriques, toutes les conditions appropriées et requises en vertu des exigences applicables en matière de protection des données. Pour plus d’informations, consultez Données et confidentialité pour Visage.
Commencez
Utilisez ces guides de démarrage rapide pour commencer :