Retrieval Augmented Generation Backed with Managed Search

21 novembre 2024

Kevin Montgomery

5 min de lecture

La qualité des services et produits d'IA dépend de l'information qu'ils fournissent. L'utilisation de la génération augmentée de récupération (RAG) et de la recherche gérée peut contribuer à améliorer les résultats de l'IA et la confiance.

De meilleurs résultats grâce à l'IA et aux LLM : créer un RAG avec la recherche gérée

Les progrès réalisés dans l'architecture des transformateurs, l'apprentissage par renforcement et les processus d'entraînement ont permis des améliorations notables du traitement automatique du langage naturel (TALN) et de la génération de texte grâce aux grands modèles de langage (MLL). Ces modèles sont entraînés sur un large éventail de données sources, notamment le contenu de sites web, les publications sur les réseaux sociaux, la littérature, le code source et d'autres sources d'information très pertinentes. Les utilisateurs peuvent ensuite interroger ces grands modèles de langage à l'aide d'une invite de sélection (par exemple « écrire un article de blog sur l'IA ») et le LLM générera une réponse à partir de ses données de formation.

La qualité des résultats peut varier en fonction de l'invite de saisie et des données d'apprentissage. Dans certains cas, les LLM peuvent fournir des réponses incomplètes ou incorrectes, parfois appelées « erreurs ». « hallucinant. » Ces résultats peuvent toutefois être améliorés en incluant des sources pertinentes dans l’invite initiale afin de réduire le contexte à partir duquel le LLM générera une réponse – en augmentant la génération avec une récupération spécifique au contexte.

Qu'est-ce que la Génération Augmentée par Récupération ?

La génération augmentée de recherche (RAG) est un processus de recherche d'informations et de génération de texte qui utilise des moteurs de recherche pour ajouter des informations contextuelles pertinentes provenant de sources fiables à une question avant de la soumettre à un LLM. Les mots-clés et les sujets sont extraits de la question source, transmis au moteur de recherche, et les documents résultants sont ensuite ajoutés à la question source et transmis au LLM. Ce dernier peut utiliser ces informations contextuelles supplémentaires pour générer la réponse finale et citer les documents ou la section de contenu spécifiques ayant servi à générer la réponse.

Outre l'amélioration générale de la qualité des réponses, RAG peut être utilisé pour la recherche dans les bases de connaissances et les systèmes conversationnels. RAG contribue à améliorer la rapidité des réponses tout en réduisant les réponses incorrectes ou incomplètes. Ceci est particulièrement utile pour les agents de chat, le support client et autres interfaces ouvertes. Voici comment :

Recherches améliorées dans la base de connaissances : offrez aux clients et aux employés des résultats de recherche plus précis et contextuellement pertinents, améliorant ainsi l'accessibilité des connaissances.
Assistance client fiable et pertinente : fournissez aux agents de chat et aux équipes d'assistance des informations précises et à jour, réduisant ainsi les réponses incorrectes ou incomplètes.
Assistants intelligents optimisés pour vos données : formez les assistants virtuels à la documentation interne, leur permettant de fournir des réponses précises spécifiques à votre organisation.

Pourquoi utiliser RAG ?

Outre l'amélioration de la qualité des réponses en général, RAG peut être utilisé pour la recherche dans les bases de connaissances et les systèmes conversationnels. RAG contribue à améliorer la rapidité des réponses tout en réduisant les réponses incorrectes ou incomplètes. Ceci est particulièrement utile pour les agents de chat, le support client et autres interfaces ouvertes.

Améliorer la recherche et la base de connaissances pour les clients et les employés
Agents de service et d'assistance à la clientèle pertinents et fiables
Des assistants intelligents formés à la documentation interne

Comment créer un RAG avec une recherche gérée ?

Managed Search est une puissante plateforme de recherche évolutive développé par SearchStax pour être facile à gérer tout en offrant la personnalisation et la flexibilité d'un moteur de recherche complet. Environnements de recherche gérés peut être facilement provisionné et mis à l'échelle selon les besoins pour le développement, les tests et les flux de travail de recherche à l'échelle de la production.

Managed Search, basé sur Solr, offre une infrastructure de recherche en tant que service (IAS) avec des API robustes pour une intégration facile à vos flux de génération et de consultation LLM. Une fois le contenu source ajouté à vos index Managed Search, vous pouvez commencer à rechercher et à récupérer des documents pertinents pour alimenter les systèmes de consultation LLM. La pertinence et la réponse de la recherche peuvent être personnalisées et optimisées pour une meilleure récupération et de meilleurs résultats de consultation.

Contenu source

Le RAG utilise une « source de vérité » connue pour réduire les hallucinations et les réponses incorrectes ou incomplètes. Un contenu source bien rédigé, organisé et catégorisé améliorera considérablement la qualité et la profondeur des réponses issues d'un système RAG.

Indexez autant de contenu original faisant autorité que possible
Inclure des métadonnées pertinentes telles que la catégorisation, le balisage, les types de contenu, les auteurs et d'autres données pertinentes qui peuvent améliorer la recherche de contenu source
Utiliser la structure du contenu comme le titre, les métadonnées et les sections pour améliorer la compréhension

La recherche gérée prend en charge l'indexation de contenu volumineux à grande échelle grâce à nos API et connecteurs. Les données de recherche peuvent être répliquées, sauvegardées et restaurées afin de minimiser les pertes de données et de réduire les temps d'arrêt.

Récupération du contenu source

L'établissement d'un contexte limité à partir d'un contenu source fiable (par opposition à l'utilisation du contexte global de toutes les données d'entraînement) offre la meilleure amélioration de la qualité et de la pertinence des invites de sortie. Les instances de recherche gérée peuvent être facilement mises à l'échelle. gérer un volume de requêtes élevé et des documents de grande taille généralement observé dans les implémentations RAG.

Améliorer la qualité de la recherche et la rapidité de sortie

L'amélioration de la qualité de la recherche peut contribuer à établir un contexte fiable pour les LLM. Les recherches de recherche peuvent aller au-delà de la simple recherche textuelle. Des modèles de pertinence contextuels, des facettes et des filtres de recherche, ainsi que la similarité vectorielle et d'autres améliorations de classement peuvent être utilisés pour une requête initiale ou lors d'invites supplémentaires afin d'améliorer et d'affiner le résultat de la recherche et la réponse finale.

Apportez votre propre modèle

À mesure que les processus RAG évoluent, certaines entreprises proposent RAG au sein de leurs plateformes cloud ou IA, mais de nombreuses organisations constatent que les modèles et les invites personnalisés surpassent les services génériques.

L'exécution de vos propres modèles LLM et processus de formation implique généralement une grande quantité de gestion et de débit de données, ainsi qu'une gestion du cloud et du serveur pour l'exécution des différents services et fonctionnalités de stockage de données.

Les instances de recherche gérée peuvent être déployées et dimensionnées selon vos besoins dans la région de votre choix, auprès de vos fournisseurs cloud préférés. La recherche gérée inclut des API de déploiement et de surveillance pour une orchestration et des alertes flexibles.

Infrastructure de recherche en tant que service pour RAG

SearchStax Managed Search est disponible auprès des principaux fournisseurs de cloud dans la plupart des régions et
s'intègre facilement à une suite LLM existante. Des fonctionnalités telles que Intégration VPC, haute disponibilité, sauvegardes, et des API puissantes font de la recherche un citoyen de première classe dans votre organisation sans les frais généraux et l'incertitude liés à la gestion de votre propre infrastructure ou à la gestion des défis de conformité.

Vous pouvez personnaliser votre déploiement de recherche gérée afin que votre infrastructure Solr puisse évoluer avec votre infrastructure technologique tout en conservant une haute disponibilité. La recherche gérée inclut le support, les sauvegardes, les analyses de sécurité et les correctifs, les API d'orchestration, ainsi que la prise en charge des VPC pour une intégration facile à votre infrastructure.

SearchStax a conçu Managed Search pour vous offrir la puissance et la flexibilité de la technologie Solr, ainsi que la gestion, la disponibilité et l'évolutivité assurées par notre équipe d'assistance 24h/24 et 7j/7, une protection robuste contre les pannes et bien plus encore. Managed Search offre des environnements stables, évolutifs et prévisibles pour développer, tester et déployer une recherche fiable à grande échelle dans le cadre de votre produit.

Nous facilitons la création de solutions de recherche personnalisées à l'aide de Solr avec une gestion prévisible de l'infrastructure, une résilience et des contrôles des coûts.

Premiers pas avec la recherche gérée

Planifier une démonstration Pour en savoir plus sur la recherche gérée et découvrir comment créer des expériences de recherche fiables et évolutives sans les contraintes de la gestion de l'infrastructure, contactez nos experts en recherche pour en savoir plus sur la gestion évolutive de l'infrastructure de recherche et découvrir comment la recherche gérée peut aider votre équipe à créer, déployer et optimiser la génération augmentée de recherche grâce à la recherche gérée.

Commencez maintenant gratuitement

Essayez la recherche gérée pendant 14 jours et commencez à ajouter une recherche fiable à votre pipeline RAG.

Génération augmentée de récupération soutenue par la recherche gérée

De meilleurs résultats grâce à l'IA et aux LLM : créer un RAG avec la recherche gérée

Qu'est-ce que la Génération Augmentée par Récupération ?

Pourquoi utiliser RAG ?

Comment créer un RAG avec une recherche gérée ?

Contenu source

Récupération du contenu source

Améliorer la qualité de la recherche et la rapidité de sortie

Apportez votre propre modèle

Infrastructure de recherche en tant que service pour RAG

Premiers pas avec la recherche gérée

Commencez maintenant gratuitement

Par Kevin Montgomery

Ingénieur marketing produit

Managed Search est une solution de recherche fiable qui peut alimenter des produits d'IA fiables à grande échelle.

Recevez notre newsletter

Vous aimerez peut-être aussi :

Produits

Tarification

Ressources

Services

Ressources

Tarification

Entreprise