Microsoft appréhende les hallucinations de l’IA et pas seulement les siennes

Les nouveaux outils d’Azure AI peuvent soi-disant identifier quand les modèles d’IA déraillent

Par Rocio Fabbro2 min de lectureMis à jour 29 mars 2024

Si l’intelligence artificielle est devenue le Far West technologique, certaines nouvelles fonctionnalités de sécurité d’Azure de Microsoft $MSFT sont destinées à la freiner. Microsoft a partagé une série d’outils Jeudi, il est dit que ce sera le cas aider les modèles d’IA de ses clients prévenir les hallucinations — ou la tendance des chatbots à inventer des choses. Les fonctionnalités sont dans son Azure AI, un service basé sur le cloud qui fournit un support et des technologies aux développeurs et aux organisations.

L’une de ces fonctionnalités est connue sous le nom détection d’ancrage, qui est conçue pour identifier les hallucinations basées sur du texte.

Microsoft affirme que la nouvelle fonctionnalité trouvera et signalera des« matériels non fondés », ou un contenu qui ne semble pas être ancré dans des faits ou communs sens, dans les réponses des chatbots pour contribuer à améliorer leur qualité.

Microsoft a lancé son propre chatbot, Copilot, en février 2023. Il dispose également d’un partenariat étendu avec OpenAI qui inclut Service Azure OpenAI, qui donne aux développeurs la possibilité de créer leurs propres applications d’IA grâce à un accès direct aux modèles OpenAI soutenus par Azure. Azure AI les clients incluent la société de conseil KPMG, le géant des télécommunications AT&T $T et Reddit $RDDT.

Parmi les autres outils déployés jeudi sont boucliers d’invite, qui bloquent les attaques contre les modèles d’IA génératifs, comme les injections d’invites ou les invites malveillantes provenant de documents externes qui éloignent les modèles de la formation et de la sécurité. garde-corps.

« Nous savons que les clients n’ont pas tous une expertise approfondie en matière d’attaques par injection rapide ou de contenus haineux, c’est pourquoi le système d’évaluation génère les invites. nécessaire pour simuler ces types d’attaques », a déclaré Sarah Bird, responsable des produits de l’IA responsable chez Microsoft, à The Verge, ajoutant que les clients consultez ensuite un score et des résultats basés sur les performances d’un modèle dans ces simulations.

Azure AI déploiera également bientôt deux autres fonctionnalités de surveillance et de sécurité, a annoncé Microsoft .

Ces types de problèmes, bien que apparemment bénins, ont donné lieu à des problèmes (et) certains très problématiques) gaffes de la part des générateurs de texte et d’images alimentés par l’IA. L’IA Gemini de Google $GOOGL a suscité une polémique en février après avoir généré des images historiquement inexactes comme des nazis de diverses races. ChatGPT d’OpenAI récemment complètement déraillé le mois dernier avec des charabia et des hallucinations qui ont laissé les utilisateurs perplexes.

L'essentiel de l'actualité économique, livré chaque matin.

Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.

En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.