NVIDIA и OpenAI выпустили gpt-oss — открытые ИИ-модели для ПК с RTX, до 250 токенов/с на RTX 5090

NVIDIA совместно с OpenAI представила семейство открытых ИИ-моделей gpt-oss, доступных для запуска прямо на потребительских ПК с видеокартами GeForce RTX. Это серьёзный шаг к демократизации ИИ: модели, ранее доступные только в облаке, теперь работают локально на устройствах с RTX GPU, обеспечивая высокую скорость и поддержку современных функций.

Модель gpt-oss-20b рассчитана на ПК с RTX и минимум 16 ГБ видеопамяти, демонстрируя до 250 токенов в секунду на флагманской GeForce RTX 5090. Более крупная модель gpt-oss-120b ориентирована на профессиональные рабочие станции с видеокартами серии RTX PRO. Обе модели поддерживают длину контекста до 131 072 токенов, что делает их одними из самых продвинутых решений для локального ИИ.

Модели обучены на GPU NVIDIA H100 и впервые используют формат MXFP4, обеспечивающий высокую точность без дополнительных затрат производительности. Архитектура MoE (Mixture of Experts) позволяет эффективно выполнять цепочки рассуждений, следовать инструкциям и использовать внешние инструменты — всё это работает локально без подключения к облаку.

NVIDIA продвигает использование этих моделей с помощью приложений вроде Ollama, а также поддерживает репозиторий Llama.cpp, адаптированный под RTX с использованием CUDA Graphs. Разработчики Windows могут запускать модели через Microsoft AI Foundry Local, воспользовавшись простой командой в терминале.