Lors d’un hackathon à San Francisco, une équipe de cinq personnes a créé une approche open source des Ray-Ban alimentées par l’IA de Meta.
Ce qui a commencé comme un projet de hackathon de 36 heures le week-end dernier pourrait permettre à la communauté open source de bouleverser l’industrie des lunettes intelligentes. Cinq membres de l’équipe a construit une paire de lunettes intelligentes d’une valeur de 20 $, baptisée Open Glass, qui connecte ce que vous voyez et entendez à un chatbot IA, tel que comme Llama 3 de Meta $META.
Scott Fitsimones s’est rendu au centre-ville de San Francisco samedi matin pour rencontrer Nik Shevchenko, sans savoir qu’il était sur le point de passer les 36 prochains mois. heures à un hackathon d’intelligence artificielle en construisant un nouvel appareil avec lui. À l’époque, Fitsimones pensait qu’il ramassait un pendentif d’intelligence artificielle par Shevchenko, qu’il décrit comme un chef de file du mouvement grandissant des portables IA à San Francisco. À la fin du week-end, leur équipe a gagné le hackathon et a à peu près 1 500 personnes sur une liste d’attente pour précommander leurs lunettes intelligentes open source.
“Je n’avais aucune idée de ce hackathon, et c’était juste un très fort hasard”, a déclaré Fitsimones. “Et puis, vous savez, je pense nous avons simplement commencé à brouiller et à construire sur le prototype initial.
De son côté, Shevchenko s’est lancé dans le hackathon en sachant qu’il voulait construire l’élément matériel d’une sorte de lunettes intelligentes, selon ses coéquipiers (Shevchenko n’a pas répondu à la demande d’interview de Gizmodo). Il a été rejoint par Stepnan Korshakov, qui a résolu le logiciel le plus difficile défis du projet. Ces deux-là ont choisi Fitsimones, Shreeganesh Ramanan et Jatin Gupta pour former une équipe gagnante.
Dans une grande pièce aérée surplombant les eaux bleues et les montagnes vertes de la Baie, des ingénieurs logiciels ont codé sur des canapés moelleux avec des piles de La Croix sur le côté. Cerebral Valley organise souvent des hackathons comme celui-ci, réunissant la scène florissante des startups d’IA de San Francisco. Shevchenko était l’un des rares à utiliser un stylo à souder au lieu d’un ordinateur portable, tandis que le reste de l’équipe craquait avec le logiciel. Un peu plus tard samedi, Shevchenko a quitté l’événement pour imprimer en 3D le boîtier de l’ordinateur Open Glass.
Après environ 36 heures de piratage, Shevchenko et son équipe ont fièrement présenté une paire de lunettes de soleil bon marché avec une boîte noire dépassant à droite. côté. Les lunettes étaient équipées d’une caméra qui prenait une photo toutes les cinq secondes et d’un microphone qui transcrivait en permanence l’audio. base de données de photos et de textes pour refléter ce que vos yeux et vos oreilles perçoivent. Appuyez sur un bouton sur le côté des lunettes et vous pouvez demander au chatbot Llama 3 de Meta de répondre à des questions sur votre propre vie.
“Comment s’appelait cette personne ?", “Où ai-je laissé mes clés ?" et “Combien de calories contiennent ces fruits ?" quelques questions auxquelles l’IA a répondu pendant la démo. La technologie a desapplications utiles pour de nombreuses personnes, mais pourrait surtout exceller en aidant quelqu’un avec une mauvaise vue ou une mauvaise audition.
L’équipe de Shevchenko a remporté le premier prix lors du hackathon, malgré un bug dans les capacités de synthèse vocale des lunettes lors de la démonstration. Des dirigeants de Meta et Groq, ainsi que du PDG de Hugging Face, Clem Delangue, qui a jugé les projets finaux. En quelques heures, l’esprit entrepreneurial de Shevchenko est passé à la vitesse supérieure et il a créé une liste d’attente pour précommander une version du prototype.
“Woah woah woah woah, il est 1 300”, a déclaré Korshakov au téléphone avec moi lundi, lorsqu’il a découvert combien de précommandes ils avaient reçues. Les gens du monde entier veulent construire des choses avec cela. Ils ont désormais un moyen de s’approprier et de contribuer au succès de ce projet. eux-mêmes. »
Bien que d’autres lunettes intelligentes soient sur le marché aujourd’hui, comme les Meta Ray-Bans, elles ne sont pas open source ni aussi bon marché. Glass propose un kit relativement peu coûteux qui permet aux développeurs de choisir les LLM qu’ils souhaitent utiliser et de décider ce qu’ils veulent lunettes à faire. Par exemple, toutes les paires de verres ouverts ne doivent pas nécessairement prendre des photos ou enregistrer en permanence du son. Cela offre une solution abordable. , une option piratable pour les lunettes intelligentes, un facteur de forme qui était auparavant extrêmement coûteux et limitait ce que vous pouviez faire.
« Vous pouvez le brancher sur OpenAI, vous pouvez le brancher sur Gemini », a déclaré Ramanan lors d’un entretien téléphonique. avoir la possibilité de mélanger et associer toutes les meilleures options puis de créer vos propres applications et frameworks intéressants.”
Les lunettes intelligentes n’ont pas vraiment pris de l’ampleur comme les autres appareils portables. Cependant, les progrès des modèles d’IA multimodaux en font une période passionnante pour lunettes intelligentes. Il est facile d’imaginer comment le nouveau GPT-4 Omni d’OpenAI, qui peut traiter simultanément la vidéo, l’audio et le texte, pourrait être utilisé dans des lunettes comme celle-ci. Google $GOOGL a même présenté un prototype de nouvelles lunettes Google dans une démonstration de sa dernière IA mardi. Glass espère que donner à la communauté open source l’accès à cette technologie permettra une plus grande innovation dans le domaine.
Une chose qui tourmente les lunettes intelligentes, ce sont les problèmes de confidentialité. Les Ray-Ban de Meta n’enregistrent pas constamment de l’audio et de la vidéo pour utiliser votre vie comme un base de données, et c’est probablement une bonne chose. Mais il existe une communauté croissante de fanatiques des gadgets IA dans la Silicon Valley qui sont intéressés par la l’idée d’enregistrer en permanence leur vie pour créer l’assistant personnel ultime. Des bagues, des pendentifs et maintenant des lunettes surgissent des startups de San Francisco, tous fascinés par ce potentiel.
Même si l’open source de la technologie permettra aux développeurs d’innover sur ces idées d’une manière plus locale, il reste encore des préoccupations majeures à résoudre. abordées avec la confidentialité et les coûts. Ces questions sont importantes mais ne sont pas exactement le centre d’intérêt des développeurs aux premiers stades de cette technologie. Ce qui est plus important pour eux, c’est de le rendre utile.
Certaines personnes non-techniques peuvent acheter Open Glass pour simplement utiliser une paire de lunettes intelligentes bon marché. , mais il semble qu’il viendra préfabriqué avec de grands modèles de langage intégrés et une application mobile qui va avec. Le prix réel de l’appareil est également sujet à changer, même bien que tout le code source soit disponible gratuitement sur GitHub.
L’histoire d’Open Glass est un témoignage de la culture florissante des startups d’IA à San Francisco. technologie bloquée, comme les lunettes intelligentes. Plus concrètement, elle pourrait également offrir aux personnes non techniques une paire de lunettes intelligentes pour le prix d’un billet de cinéma.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
