Google DeepMind lance Gemini Robotics sur appareil, permettant l'intégration de l'IA localisée pour les systèmes robotiques

La branche IA de Google, Google DeepMind a dévoilé un modèle robotique déployable localement : Gemini Robotics On-Device. Ce modèle est conçu pour fonctionner efficacement sur du matériel robotique sans dépendre de réseaux externes. Il démontre des capacités avancées en matière de dextérité générale et d'adaptation aux tâches dans divers cas d'utilisation.

Le modèle fonctionne entièrement sur le systèmes de robot , qui réduit la latence et maintient la stabilité opérationnelle même dans les environnements où la connexion Internet est inexistante ou peu fiable. Il est destiné aux systèmes robotiques à deux bras et nécessite une puissance de calcul minimale.

Gemini Robotics On-Device étend les fonctionnalités des modèles Gemini Robotics précédents en prenant en charge l'exécution agile et en temps réel des tâches, en permettant un réglage précis pour de nouvelles tâches et en autorisant l'interprétation des commandes en langage naturel. Le système affiche des performances constantes dans la gestion de tâches visuellement et sémantiquement variées, telles que la manipulation d'objets souples ou l'exécution d'instructions en plusieurs étapes.

Les évaluations indiquent que le modèle se généralise bien dans différentes conditions et surpasse les systèmes embarqués comparables dans des scénarios complexes. Pour les développeurs nécessitant des capacités étendues au-delà des contraintes locales, une version alternative du modèle Gemini Robotics est disponible.

Gemini Robotics On-Device devient le premier modèle VLA disponible pour un réglage précis, développé en mettant l'accent sur la sécurité et l'innovation responsable

Gemini Robotics On-Device représente la première instance d'un modèle VLA de cette série disponible pour un réglage fin. Bien que le modèle soit capable d'exécuter diverses tâches sans modification, il peut également être adapté pour améliorer les performances dans des applications spécifiques. L'adaptation peut être réalisée grâce à un nombre relativement limité de démonstrations, généralement entre 50 et 100, ce qui démontre la capacité du modèle à appliquer ses capacités fondamentales à des tâches inhabituelles.

La développant La gestion de tous les modèles Gemini Robotics suit un cadre conforme aux principes établis de l'IA, intégrant une stratégie de sécurité globale prenant en compte les dimensions sémantique et physique. La sécurité sémantique et liée au contenu est surveillée via l'API Live, tandis que des contrôleurs de bas niveau critiques pour la sécurité sont intégrés pour gérer l'exécution des actions physiques. Un référentiel de sécurité sémantique a été mis en place pour les évaluations à l'échelle du système, et des méthodes de tests ciblées, notamment le red-teaming, sont recommandées pour identifier les faiblesses liées à la sécurité.

L'équipe Développement responsable et innovation supervise les implications concrètes des modèles, en évaluant les risques potentiels et les effets sociétaux. Ces conclusions sont ensuite examinées par le Conseil de responsabilité et de sécurité, dont les recommandations guident le développement continu des modèles, visant à optimiser les résultats positifs tout en réduisant les risques potentiels.