GPT-4 Omni est capable de traiter du texte, de l’audio et de la vision avec peu ou aucun délai
OpenAI a dévoilé GPT-4 Omni (GPT-4o) pendant son Mise à jour du printemps lundi à San Francisco. Mira Murati, directrice de la technologie, et le personnel d’OpenAI ont présenté leur tout nouveau modèle phare, capable de conversations verbales en temps réel. avec un chatbot IA convivial qui parle de manière convaincante comme un humain.
« GPT-4o fournit une intelligence de niveau GPT-4 mais est beaucoup plus rapide », a déclaré Murati sur scène. un paradigme vers l’avenir de la collaboration, où cette interaction devient beaucoup plus naturelle et beaucoup plus facile.
GPT-40 répond instantanément aux invites verbales d’une voix amicale qui ressemble étrangement à Scarlett Johansson, qui a exprimé l’assistante IA dans le long métrage Son. Sur la base des démos, cette technologie fait essentiellement de ce film une réalité. Le discours de GPT-4o a une intonation émotionnelle, montrant de l’enthousiasme chez certains. à plusieurs reprises et se moquer des autres. De plus, il peut également identifier les émotions et le ton dans le discours des utilisateurs. Le personnel d’OpenAI a présenté des conversations avec le Des chatbots IA avec presque aucun décalage, et le chatbot était même capable de pivoter rapidement en cas d’interruption.
Bien que les capacités audio du GPT-4o soient impressionnantes, Omni fonctionne sur plusieurs supports. Alors que ChatGPT traitait auparavant le texte, la vision et l’audio via un réseau. Parmi les modèles d’IA, GPT-4o est un modèle unique capable de traiter les trois. Cela rend tout fonctionne beaucoup plus rapidement. Vous pouvez afficher GPT -4o une image d’un problème mathématique avec l’appareil photo de votre téléphone tout en parlant verbalement au modèle. OpenAI affirme que son nouveau modèle phare fonctionne aux niveaux d’intelligence GPT-4 tout en définissant des filigranes révolutionnaires sur les capacités multilingues, audio et visuelles.
Après cette démo à couper le souffle, OpenAI lance GPT-4o en tant qu’application de bureau pour macOS. Les utilisateurs payants obtiennent également l’application macOS. aujourd’hui, mais GPT-4o sera disponible pour les utilisateurs gratuits à l’avenir. L’application de bureau vous permettra de démarrer des conversations vocales avec ChatGPT. directement depuis votre ordinateur et partagez votre écran avec un minimum de friction. Le site Web ChatGPT bénéficie également d’une actualisation simplifiée.
Mark Chen et Barrett Zoph, membres du personnel d’OpenAI, ont fait une démonstration du fonctionnement du modèle d’IA multimodal en temps réel sur scène lundi. la plupart du temps, cela a très bien fonctionné, car Chen et Zoph ont interrompu le modèle pour lui demander de faire pivoter les réponses. GPT-4o racontait des histoires à l’heure du coucher et aidait en mathématiques problèmes, et plus encore. Par moments, GPT-4 Omni a eu du mal à comprendre l’intention des utilisateurs, mais le modèle était assez gracieux dans naviguer dans les dérapages.
Le modèle vocal était capable d’émettre différentes voix lorsqu’il racontait une histoire, riait et même disait « C’est si gentil de votre part » un point. Il est clair que l’équipe OpenAI a assuré que GPT-4o avait plus d’émotions et était plus conversationnel que les modèles vocaux précédents. Dans les démos, ChatGPT semblait plus humain que jamais.
Un membre du staff OpenAI a confirmé dans un tweet que l’entreprise a testé GPT-4o sur l’arène des chatbots LMSYS Org comme “je suis aussi un bon chatbot gpt2." Comme beaucoup le soupçonnaient et que Sam Altman le taquinait, il s’agissait de modèles OpenAI en préparation. Pour le personnel, le dernier chatbot a largement surpassé la concurrence, y compris les leaders du secteur GPT-4 Turbo et Claude 3 Opus, sur plusieurs paramètres.
La sortie de GPT-4o semble comme un moment séminal pour l’avenir des chatbots IA. Cette technologie dépasse une grande des latences embarrassantes qui a tourmenté les premiers chatbots. Il est facile d’imaginer une version de Siri qui est très utile avec GPT-4o. Ces capacités en temps réel sont probablement grâce aux dernières puces d’inférence de Nvidia $NVDA, que Murati s’est assuré d’appeler avant de terminer la présentation. Quoi qu’il en soit, OpenAI a réaffirmé sa position dominante. positionner en de leader de l’innovation en IA avec la démo de lundi. Maintenant, nous attendons de voir si la présentation nous a donné une représentation précise de ce que cette chose peut faire, ou si elle a été soigneusement gérée pour éviter les défauts évidents.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
