Независимый разработчик Ферран Дуарри представил открытый модуль ядра для операционной системы Linux. Проект под названием GreenBoost предназначен для увеличения доступного объема видеопамяти дискретных видеокарт от компании NVIDIA. Инструмент объединяет выделенную память графического ускорителя с системной оперативной памятью и быстрыми накопителями NVMe для запуска требовательных локальных нейросетей.
Создатель утилиты пояснил, что идея возникла из необходимости запустить большую языковую модель объемом 31.8 ГБ на видеокарте GeForce RTX 5070 с 12 ГБ памяти. Существующие методы выгрузки слоев сильно снижали производительность генерации токенов из-за отсутствия когерентности. Новый драйвер с лицензией GPLv2 работает параллельно с официальным программным обеспечением и не требует модификации пользовательского пространства среды разработки CUDA.
Технически инструмент выделяет страницы оперативной памяти DDR4 и экспортирует их как дескрипторы файлов, а графический процессор импортирует их как внешнюю память. Перемещение данных происходит через шину PCIe 4.0 на скорости около 32 ГБ в секунду, при этом специальная библиотека перехватывает запросы на выделение памяти более 256 МБ. Исходный код экспериментального проекта уже опубликован для всех желающих на платформе GitLab.