Индийский стартап запустил искусственный интеллект на дешевых процессорах для ПК 

Индийский стартап Ziroh Labs создал платформу Kompact AI, которая позволяет запускать нейросети на обычных центральных процессорах, без использования графических ускорителей. Это решение особенно актуально для стран с ограниченным доступом к GPU.

Разработка ориентирована на стадию вывода — работу ИИ после завершения обучения. Kompact AI успешно запускает модели вроде Llama 2 от Meta и Qwen2.5 от Alibaba на ноутбуках с процессорами Intel Xeon. Стартап сотрудничает с Индийским технологическим институтом в Мадрасе.

Подход уже протестировали Intel и AMD. Kompact AI позволяет ИИ-моделям работать даже в условиях ограниченной инфраструктуры. По словам советника Уильяма Радучела, технология может оказать заметное влияние на глобальный рынок.

Директор института Ви Камакоти подчеркнул, что дефицит GPU тормозит развитие ИИ в таких странах, как Индия. Новый подход, по его словам, показывает, что «вам не нужен револьвер, чтобы убить комара» — то есть мощный GPU необязателен для запуска современных моделей.

На фоне дефицита видеокарт и миллиардных инвестиций в ИИ-инфраструктуру Kompact AI предлагает альтернативный путь. Тем временем Nvidia представила новое поколение чипов Blackwell Ultra и сопутствующих решений для обучения ИИ и робототехники.