NVIDIA улучшила производительность ИИ на GeForce RTX с новым драйвером R555
NVIDIA представила очередное обновление драйверов для своих графических процессоров GeForce RTX и платформ RTX AI PC, которое значительно увеличивает производительность искусственного интеллекта (ИИ). В рамках мероприятия Microsoft Build компания анонсировала новые оптимизации, доступные на платформе RTX, включающей графические процессоры GeForce RTX, рабочие станции и ПК.
Новые драйверы R555 предлагают трёхкратное увеличение производительности ИИ благодаря оптимизациям для ONNX Runtime (ORT) и DirectML. Эти инструменты используются для локального запуска моделей ИИ на ПК с Windows. Помимо этого, WebNN также ускорен с помощью DirectML на базе RTX, что позволяет веб-разработчикам внедрять новые модели ИИ.
Список возможностей, которые новые драйверы R555 предлагают для графических процессоров GeForce RTX и ПК на базе RTX:
- Поддержка метакоманды DQ-GEMM для обработки квантования весов INT4 для больших языковых моделей (LLM)
- Новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3
- Механизмы группового и многофункционального внимания, а также скользящее оконное внимание для поддержки Mistral
- Обновления KV на месте для улучшения производительности внимания
- Поддержка GEMM тензоров, не кратных 8, для улучшения производительности контекстной фазы
По результатам тестов производительности ORT, выпущенных Microsoft, NVIDIA демонстрирует значительные улучшения в работе как с данными INT4, так и FP16. Оптимизации в драйверах позволяют добиться до трехкратного увеличения производительности для таких моделей LLM, как Phi-3, Llama 3, Gemma и Mistral.
NVIDIA продолжает лидировать в области потребительских ИИ ПК благодаря мощному набору решений, таких как TensorRT и TensorRT-LLM, которые встроены в их графические процессоры. Эти решения включают революционную технологию DLSS Super Resolution, NVIDIA ACE, RTX Remix, Omniverse, Broadcast, RTX Video и другие технологии. Графические процессоры NVIDIA предлагают до 1300 TOPS вычислительной мощности ИИ, что значительно превосходит самые быстрые чипы, выходящие в этом году, которые ожидается достичь только 100 TOPS.
