Віталік Бутерін закликав обмежити автономність ШІ заради безпеки та якості

Співзасновник Ethereum Віталік Бутерін розкритикував прагнення розробників створювати надмірно автономні ШІ-системи. На його думку, саме розширення можливостей для людського контролю робить такі моделі більш корисними та безпечними.

“Мене дратує, що багато розробників ШІ прагнуть максимальної автономності систем, хоча насправді більше можливостей для людського контролю не тільки покращує результати (як зараз, так і в перспективі), а й підвищує безпеку”, – зазначив він.

Коментар Бутеріна з’явився у відповідь на пост колишнього директора зі ШІ в Tesla Андрія Карпатого. Той звернув увагу, що сучасні мовні моделі занадто часто оптимізуються під тривалі завдання і починають поводитися надмірно самостійно. Зокрема, під час програмування вони витрачають надто багато часу на аналіз навіть простих команд.

“Хоча це виправдано для тривалих завдань, такий підхід менш застосовний до активного ітеративного розроблення або швидких перевірок перед виконанням скрипта. Я регулярно перериваю ШІ командами: “Припини аналіз. Обмежся цим файлом. Без додаткових інструментів. Без надлишкових рішень””, – зазначив Карпатий.

Бутерін підтримав цю точку зору і підкреслив, що надмірна автономність знижує ефективність роботи моделей. Він зазначив, що відкриті системи з функціями редагування більш продуктивні, ніж повністю самостійні інструменти генерації.

Крім того, Бутерін висловив інтерес до розвитку інтерфейсів мозок-комп’ютер. За його словами, такі технології могли б відстежувати реакцію користувача в реальному часі та коригувати роботу моделі залежно від намірів та очікувань. Зараз же, вважає він, ШІ часто ігнорує такі нюанси, що робить його менш корисним.