Google DeepMind bringt Gemini Robotics auf das Gerät und ermöglicht lokalisierte KI-Integration für Robotersysteme

Der KI-Zweig von Google, Google DeepMind stellte ein lokal einsetzbares Robotermodell vor – Gemini Robotics On-Device. Dieses Modell ist für den effizienten Betrieb auf Roboterhardware ohne Abhängigkeit von externen Netzwerken konzipiert. Es demonstriert erweiterte Fähigkeiten in den Bereichen allgemeine Geschicklichkeit und Aufgabenanpassung für verschiedene Anwendungsfälle.

Das Modell funktioniert vollständig auf der Roboter , wodurch die Latenz reduziert und die Betriebsstabilität auch in Umgebungen mit unzuverlässiger oder fehlender Internetverbindung gewährleistet wird. Es ist für Zweiarm-Robotersysteme vorgesehen und erfordert nur minimale Rechenleistung.

Gemini Robotics On-Device erweitert die Funktionalität früherer Gemini Robotics-Modelle, indem es die präzise Aufgabenausführung in Echtzeit unterstützt, die Feinabstimmung neuer Aufgaben ermöglicht und die Interpretation von Befehlen in natürlicher Sprache ermöglicht. Das System zeigt konsistente Leistung bei der Bewältigung visuell und semantisch vielfältiger Aufgaben, wie der Handhabung weicher Objekte oder der Ausführung mehrstufiger Anweisungen.

Auswertungen zeigen, dass das Modell unter verschiedenen Bedingungen gut generalisierbar ist und in komplexen Szenarien vergleichbare On-Device-Systeme übertrifft. Für Entwickler, die erweiterte Funktionen über lokale Einschränkungen hinaus benötigen, steht eine alternative Version des Gemini Robotics-Modells zur Verfügung.

Gemini Robotics On-Device ist das erste VLA-Modell, das zur Feinabstimmung verfügbar ist und mit Schwerpunkt auf Sicherheit und verantwortungsvoller Innovation entwickelt wurde

Gemini Robotics On-Device stellt das erste VLA-Modell dieser Serie dar, das zur Feinabstimmung zur Verfügung steht. Das Modell kann verschiedene Aufgaben ohne Modifikation ausführen und lässt sich zudem zur Leistungssteigerung in spezifischen Anwendungen anpassen. Die Anpassung kann mit einer relativ geringen Anzahl von Demonstrationen, typischerweise zwischen 50 und 100, erfolgen. Dies demonstriert die Fähigkeit des Modells, seine grundlegenden Fähigkeiten auf unbekannte Aufgaben anzuwenden.

Der Entwicklung Alle Gemini Robotics-Modelle folgen einem Rahmenwerk, das sich an etablierten KI-Prinzipien orientiert und eine umfassende Sicherheitsstrategie beinhaltet, die sowohl semantische als auch physikalische Aspekte berücksichtigt. Semantische und inhaltliche Sicherheit werden über die Live-API überwacht, während sicherheitskritische Low-Level-Controller integriert sind, um die Ausführung physikalischer Aktionen zu steuern. Für systemweite Evaluierungen wurde ein semantischer Sicherheitsbenchmark eingeführt. Gezielte Testmethoden, einschließlich Red-Teaming, werden empfohlen, um sicherheitsrelevante Schwachstellen zu identifizieren.

Die praktische Umsetzung der Modelle wird vom Team „Verantwortliche Entwicklung und Innovation“ überwacht und bewertet potenzielle Risiken und gesellschaftliche Auswirkungen. Die Ergebnisse werden vom Responsibility & Safety Council überprüft, dessen Empfehlungen in die Weiterentwicklung der Modelle einfließen. Ziel ist es, positive Ergebnisse zu fördern und gleichzeitig potenzielle Schäden zu minimieren.