NVIDIA ускорила локальный ИИ до 190% на видеокартах GeForce RTX

NVIDIA ускорила локальный ИИ до 190% на видеокартах GeForce RTX

На международной выставке потребительской электроники IFA в Берлине компания NVIDIA представила комплекс обновлений, направленных на развитие локального искусственного интеллекта. По мере того как ИИ переходит от простых чат-ботов к автономным многоэтапным агентам, их локальный запуск на видеокартах GeForce RTX и профессиональных рабочих станциях RTX PRO обеспечивает высокий уровень конфиденциальности, низкие задержки и отсутствие затрат на облачные серверы. Для упрощения интеграции решений NVIDIA сотрудничает с Microsoft и ведущими разработчиками программного обеспечения. В рамках инициативы такие проекты, как Hermes Agent, OpenClaw и Perplexity Portable Computer, получили упрощенную процедуру развертывания, которая избавляет пользователей от необходимости вручную настраивать параметры серверов вывода и конфигурационные файлы.

Программная часть платформы получила существенные оптимизации для популярных библиотек llama.cpp и vLLM, что повышает производительность локального инференса на архитектурах NVIDIA вплоть до 190% (в 1,9 раза). Эти улучшения уже интегрируются в доступные пользовательские среды, включая LM Studio и Ollama. Кроме того, представлен бесплатный открытый инструмент NVIDIA PAIR (Personal AI Router). Данный маршрутизатор автоматически находит совместимые компьютеры с видеокартами GeForce RTX в локальной домашней сети и распределяет вычислительную нагрузку между ними, позволяя локальным агентам параллельно выполнять несколько ресурсоемких задач без перегрузки одной системы.

Аппаратная экосистема пополнилась устройствами категории RTX Spark под управлением Windows, релиз которых запланирован на октябрь. Компания Acer продемонстрировала концепт компактного настольного компьютера, а Lenovo анонсировала портативные модели Yoga Pro 9n и трансформер Yoga 9n 2-in-1. С программной стороны разработчики творческого ПО также расширяют поддержку аппаратного ускорения: компания CyberLink показала режим PhotoDirector AI PC Mode, который задействует ресурсы видеокарт для локального генеративного редактирования и улучшения качества изображений без отправки данных на удаленные серверы.

Источник

 

ЦЕНТР ОБСУЖДЕНИЙ

@GameGPU_com

Присоединяйтесь к обсуждению, делитесь результатами своих бенчмарков и спорьте о производительности железа в X.

Обсудить в X

Игры

Железо