Google представила ШІ-модель для управління роботами без підключення до інтернету

Google DeepMind представила мовно-візуально-дієву модель нового покоління – Gemini Robotics On-Device, здатну керувати роботами без підключення до інтернету. За словами розробників, це перший Vision-Language-Action (VLA) ШІ, що об’єднує сприйняття, розуміння інструкцій і виконання дій у єдиному локальному процесі.

Нова модель розширює можливості попередньої версії Gemini Robotics, випущеної в березні. Вона може керувати дворукими роботами, виконувати складні маніпуляції та адаптуватися до незнайомих об’єктів і середовищ без необхідності віддаленого доступу. Серед демонстрованих сценаріїв – розпакування сумок, складання одягу та складання компонентів на виробничій лінії.

За словами Сергія Лоншакова, архітектора проєкту “Робономіка”, такий підхід відповідає поточному тренду в робототехніці на створення безшовних (seamless) моделей, у яких планування і виконання завдань відбуваються в реальному часі. Це позбавляє від пауз при перемиканні завдань і підвищує автономність систем.

Gemini Robotics On-Device було протестовано на роботах ALOHA, Franka FR3 і гуманоїді Apollo від Apptronik. Для адаптації до нових завдань достатньо 50-100 демонстрацій, а для налаштування моделі доступний спеціальний SDK з підтримкою симулятора MuJoCo. Розробники можуть використовувати промпти природною мовою для навчання і тестування.

Інтерес до автономної робототехніки швидко зростає. У березні Nvidia презентувала платформу для моделювання рухів гуманоїдів, а в червні стало відомо, що Amazon тестує власний ШІ для доставки посилок за допомогою роботів в електрофургонах Rivian.

Розробка DeepMind робить крок до створення більш автономних, універсальних і адаптивних роботів, здатних діяти в реальному світі без постійної підтримки хмари.