Індійський стартап запустив штучний інтелект на дешевих процесорах для ПК

Індійський стартап Ziroh Labs створив платформу Kompact AI, яка дає змогу запускати нейромережі на звичайних центральних процесорах, без використання графічних прискорювачів. Це рішення особливо актуальне для країн з обмеженим доступом до GPU.

Розробка орієнтована на стадію виведення — роботу ШІ після завершення навчання. Kompact AI успішно запускає моделі на кшталт Llama 2 від Meta і Qwen2.5 від Alibaba на ноутбуках із процесорами Intel Xeon. Стартап співпрацює з Індійським технологічним інститутом у Мадрасі.

Підхід уже протестували Intel і AMD. Kompact AI дає змогу ШІ-моделям працювати навіть в умовах обмеженої інфраструктури. За словами радника Вільяма Радучела, технологія може мати помітний вплив на глобальний ринок.

Директор інституту Ві Камакоті наголосив, що дефіцит GPU гальмує розвиток ШІ в таких країнах, як Індія. Новий підхід, за його словами, показує, що “вам не потрібен револьвер, щоб убити комара” — тобто потужний GPU необов’язковий для запуску сучасних моделей.

На тлі дефіциту відеокарт і мільярдних інвестицій у ШІ-інфраструктуру Kompact AI пропонує альтернативний шлях. Тим часом Nvidia представила нове покоління чипів Blackwell Ultra і супутніх рішень для навчання ШІ та робототехніки.