На платформе Reddit в сообществе pcmasterrace разгорелось обсуждение результатов тестов производительности специализированных ноутбуков при работе с локальными нейросетями. Поводом для дискуссии стала публикация с графиком бенчмарка LM Studio при запуске модели DeepSeek R1 Distill Llama 70B. В тестировании участвовал специализированный ноутбук Surface Laptop Ultra на базе процессора N1X с 128GB оперативной памяти и ценником $5900, а также устройства Apple MacBook Pro с чипами M5 Max и M5 Pro. По результатам тестов Surface Laptop Ultra показал производительность на уровне 5.90 токенов в секунду, тогда как MacBook Pro на базе M5 Max с 128GB памяти выдам 12.55 токенов в секунду, а более доступная модель на M5 Pro с 64GB памяти показала результат 6.43 токенов в секунду при стоимости $3700.
Пользователи сети обратили внимание на существенную разницу в стоимости устройств и итоговой производительности. Модель MacBook Pro на чипе M5 Pro оказалась быстрее Surface Laptop Ultra, несмотря на то что продукт от Microsoft позиционируется как специализированное решение для задач искусственного интеллекта и стоит на $2200 дороже. Ноутбуки с меньшим объемом памяти, такие как MacBook Pro с 32GB и модельный ряд с видеокартами уровня RTX 5070 с 8GB VRAM, вовсе не смогли запустить указанную модель из-за нехватки памяти. В комментариях отметили, что ключевым преимуществом чипов Apple остается объединенная память с высокой пропускной способностью, позволяющая обрабатывать объемные нейросети без жестких ограничений по объему видеопамяти.
Вместе с тем участники обсуждения поставили под сомнение актуальность самого бенчмарка. Выбор плотной модели с 70 миллиардами параметров называют устаревшим подходом, так как современная индустрия переходит на более эффективные архитектуры с разреженными моделями. Дополнительно энтузиасты отметили, что для эффективной работы на архитектурах Windows и Linux применяются специализированные движки инференса, способные существенно ускорить генерацию. Тем не менее дискуссия подчеркнула высокую стоимость локального запуска ИИ и спорное позиционирование первых поколений специализированных Windows устройств на базе ARM в сравнении с решениями Apple.