Для графических ускорителей серии AMD Radeon RX 6000 на базе микроархитектуры RDNA2 представлена нативная среда исполнения vLLM версии 0.19.1 и ROCm 7.15 под управлением Windows 11. Официально компания AMD предоставляет для таких карт, как RX 6600 XT, RX 6700 XT и RX 6750 XT, статус поддержки Runtime only без включения HIP SDK. Независимый разработчик устранил это ограничение, выполнив сборку библиотек clr и rocBLAS с ядрами Tensile под архитектуру gfx1031 с помощью проекта TheRock. Система связывает PyTorch 2.12.0 с ROCm 7.15 и активирует специализированный плагин vllm_windows_rocm, что позволяет выполнять инференс нейросетей напрямую без виртуализации WSL2, компиляторов и сторонних прослоек.
Тестирование сборки проводилось на видеокарте AMD Radeon RX 6750 XT с 12 ГБ видеопамяти. В бенчмарке rocBLAS вычислительная производительность достигла показателя 25.97 TFLOPS в формате FP16. При работе с моделью Qwen3.5-4B через встроенный веб-интерфейс чата с поддержкой API OpenAI скорость генерации текста составила от 59 до 62 токенов в секунду с инициализацией за 1 секунду. Релиз версии 2.0 включает полностью автоматизированный скрипт установки, готовые бинарные ядра для видеокарт с чипами gfx1030, gfx1031 и gfx1032, а также встроенные инструменты быстрой проверки оборудования и производительности.
Для развертывания и корректной работы среды заявлены следующие системные требования:
- Операционная система: Windows 11 версии 23H2 или новее.
- Графический ускоритель: AMD Radeon RX 6600, RX 6600 XT, RX 6700 XT или RX 6750 XT (чипы gfx1030, gfx1031, gfx1032).
- Драйвер: AMD Software Adrenalin версии 24.x или выше.
- Накопитель: от 8 ГБ свободного дискового пространства.