Як дізнатися обсяг витрат електрики під час спілкування з ШІ

Інженер Hugging Face Жюльєн Делаванд представив інструмент, що оцінює енергоспоживання моделей ШІ під час спілкування з користувачами. Він показує, скільки енергії потрібно для генерації тексту, і порівнює ці показники зі звичайними електроприладами, щоб наочно продемонструвати вплив ШІ на навколишнє середовище.

Розробка працює з інтерфейсом Chat UI з відкритим вихідним кодом і підтримує моделі, такі як Llama 3.3 70B і Gemma 3 від Google. Інструмент оцінює енерговитрати в реальному часі в джоулях і ват-годинах, відстежуючи кожне повідомлення, що надсилається в модель і повертається користувачеві.

Так, написання стандартного листа за допомогою Llama 3.3 70B потребує близько 0,1841 ват-години. Це еквівалентно роботі мікрохвильової печі протягом 0,12 секунди або ввімкненню тостера на 0,02 секунди. Хоча точність оцінок обмежена, вони дають загальне уявлення про масштаби споживання.

Розробники визнають, що дані мають приблизний характер, але підкреслюють важливість усвідомлення енергетичного сліду. Особливо це актуально в умовах стрімкого зростання попиту на ШІ та пов’язаних із ним інфраструктурних витрат.

Ініціатива Делаванда покликана привернути увагу до сталого використання ШІ та стимулювати прозорість у галузі. Він сподівається, що в майбутньому мітки енергоспоживання стануть стандартом – як сьогодні харчові етикетки.

Інструмент демонструє, що навіть невелика оптимізація – наприклад, вибір менш ресурсномісткої моделі – може заощадити значну кількість енергії в масштабах мільйонів запитів.