Intel представила LLM Scaler v1.0 для Arc Pro — до +80% производительности в Project Battlematrix
Intel выпустила первое крупное обновление ПО для платформы Project Battlematrix, предназначенной для рабочих станций с несколькими Arc Pro GPU. Релиз контейнера LLM Scaler v1.0 стал важным этапом в развитии решения, которое компания анонсировала на Computex 2025. Battlematrix изначально задумывался как универсальная среда для инференса, поддерживающая масштабирование на несколько GPU и упрощённое развертывание.
Новая версия LLM Scaler принесла значительные оптимизации. Для моделей с длинными входными последовательностями прирост производительности достигает 1,8 раза на 32B KPI и 4,2 раза на 70B KPI при длине 40K токенов. Для моделей в диапазоне 8B–32B добавлено до 10% ускорения вывода. Внедрена поуровневая онлайн-квантизация для снижения требований к памяти GPU, поддержка pipeline parallelism, экспериментальная интеграция torch.compile и speculative decoding, а также улучшена работа с мультимодальными моделями и механизмами поиска.
Кроме того, LLM Scaler v1.0 получил инструменты для работы с GPU через XPU Manager — мониторинг энергопотребления, обновление прошивки, диагностику, тестирование пропускной способности памяти. Обновление ориентировано на Linux и использует PCIe P2P-передачу данных для эффективного масштабирования. Intel заявляет, что общий прирост производительности при работе с несколькими GPU может достигать 80%, при этом обеспечивается корпоративный уровень надёжности с поддержкой ECC, SR-IOV, телеметрии и удалённого управления прошивкой.
Согласно дорожной карте, в этом квартале выйдет ещё один, более стабильный релиз контейнера с улучшенной производительностью, а в четвёртом квартале — версия с полным набором функций. LLM Scaler v1.0 стал важным шагом в реализации планов Intel по созданию мощной и гибкой инфраструктуры для работы с большими языковыми моделями в корпоративных средах.
