Découvrez le Projet Astra, l’assistant IA du futur de Google

Pourquoi s’embêter à piétiner votre appareil alors que vous pouvez simplement lui parler et lui montrer des choses ?

Par Florence Ion / Gizmodo3 min de lecturePublié 16 mai 2024

Comme d’habitude, Google $GOOGL I/O 2024 est un tourbillon absolu de nouvelles et d’annonces. Cette année, plutôt que de se concentrer sur le matériel, Android ou Chrome, Google a consacré la majeure partie de son temps à la conférence des développeurs de cette année nous a convaincu que c’est Fonctionnalités d’IA valent la différence de priorité. L’un de ces projets est le Projet Astra, un assistant d’IA multimodal avec lequel vous pouvez semi-converser et qui peut utiliser simultanément le caméra pour identifier des objets et des personnes.

Je dis « semi » parce qu’il est évident après la démo que cette partie de Gemini en est à ses balbutiements. J’ai passé quelques brèves minutes avec le Projet Astra sur le Pixel 8 Pro pour voir à quoi cela fonctionne en temps réel. Je n’ai pas eu assez de temps pour le tester dans son intégralité ou pour l’essayer. pour le tromper, mais j’ai une idée de ce à quoi l’avenir pourrait ressembler en tant qu’utilisateur d’Android.

Demandez-lui presque n’importe quoi

L’objectif du Projet Astra est d’être comme un assistant qui vous guide également dans le monde réel. Il peut répondre à des questions sur le l’environnement autour de vous en identifiant les objets, les visages, les humeurs et les textiles. Cela peut même vous aider à vous rappeler où vous avez placé quelque chose pour la dernière fois.

Il y avait quatre démonstrations différentes parmi lesquelles choisir pour le Projet Astra. Elles incluaient le mode Conteur , qui demande aux Gémeaux de concoter une histoire basée sur diverses entrées, et Pictionary, essentiellement un jeu de devinettes sur le doodle avec l’ordinateur. Il y avait aussi un mode d’allitération, dans lequel l’IA a montré ses prouesses à trouver des mots avec la même lettre de départ et sa forme libre vous permet de discuter d’avant en arrière.

La démo que j’ai reçue était une version de Free-Form sur le Pixel 8 Pro. Un autre journaliste de mon groupe l’avait directement demandé, la plupart de nos démonstrations se sont donc concentrées sur l’utilisation conjointe de l’appareil et de ce mode de type assistant.

Avec la caméra pointée vers un autre journaliste, le Pixel 8 Pro et Gemini pourraient identifier que le sujet était une personne - nous l’avons explicitement dit. c’est que la personne s’est identifiée comme un homme. Ensuite, il a été correctement identifié qu’il portait son téléphone. Dans une question de suivi, notre groupe a posé des questions sur ses vêtements. Il a donné une réponse généralisée selon laquelle « il semble porter des vêtements décontractés ». ce qu’il faisait, ce à quoi Project Astra a répondu qu’il semblait qu’il mettait une paire de lunettes de soleil (il l’était) et qu’il frappait. une pose décontractée.

J’ai pris le Pixel 8 Pro pendant une minute rapide. J’ai permis Gemini d’identifier correctement un pot de fausses fleurs. Ils étaient des tulipes. Les Gémeaux ont remarqué qu’elles étaient également colorées. À partir de là, je ne savais pas quoi d’autre pour le provoquer, et puis mon temps J’étais debout. Je suis reparti avec plus de questions que j’en avais en entrant.

Avec l’IA de Google, cela ressemble à un acte de foi. Je peux voir à quel point l’identification d’une personne et de ses actions pourrait être un moyen d’accessibilité. outil pour aider une personne qui est aveugle ou a une basse vision lorsqu’elle navigue dans le monde qui l’entoure. Mais ce n’est pas ce que cette démonstration était à propos. Il s’agissait de présenter les capacités du projet Astra et la manière dont nous allons interagir avec lui.

Ma plus grande question est la suivante : est-ce que quelque chose comme le Projet Astra remplacera Google Assistant sur les appareils Android ? Après tout, cette IA peut se souvenir de l’endroit où vous avez placé vos trucs et reprendre les nuances —du moins, c’est ce que la démo transmettait. Je n’ai pas pu obtenir de réponse des quelques quels Google les gens, j’ai demandé. Mais j’ai une forte idée que l’avenir d’Android sera moins une question de taper pour interagir avec le téléphone et plus dépendant de lui parler.

L'essentiel de l'actualité économique, livré chaque matin.

Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.

En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.