Виталик Бутерин призвал ограничить автономность ИИ ради безопасности и качества

Сооснователь Ethereum Виталик Бутерин раскритиковал стремление разработчиков создавать чрезмерно автономные ИИ-системы. По его мнению, именно расширение возможностей для человеческого контроля делает такие модели более полезными и безопасными.

«Меня раздражает, что многие разработчики ИИ стремятся к максимальной автономности систем, хотя на самом деле больше возможностей для человеческого контроля не только улучшает результаты (как сейчас, так и в перспективе), но и повышает безопасность», — отметил он.

Комментарий Бутерина появился в ответ на пост бывшего директора по ИИ в Tesla Андрея Карпатого. Тот обратил внимание, что современные языковые модели слишком часто оптимизируются под длительные задачи и начинают вести себя чрезмерно самостоятельно. В частности, при программировании они тратят слишком много времени на анализ даже простых команд.

«Хотя это оправдано для продолжительных задач, такой подход менее применим к активной итеративной разработке или быстрым проверкам перед исполнением скрипта. Я регулярно прерываю ИИ командами: “Прекрати анализ. Ограничься этим файлом. Без дополнительных инструментов. Без избыточных решений”», — отметил Карпатый.

Бутерин поддержал эту точку зрения и подчеркнул, что чрезмерная автономность снижает эффективность работы моделей. Он отметил, что открытые системы с функциями редактирования более продуктивны, чем полностью самостоятельные инструменты генерации.

Кроме того, Бутерин выразил интерес к развитию интерфейсов мозг–компьютер. По его словам, такие технологии могли бы отслеживать реакцию пользователя в реальном времени и корректировать работу модели в зависимости от намерений и ожиданий. Сейчас же, считает он, ИИ часто игнорирует подобные нюансы, что делает его менее полезным.