Пользователь Reddit представил сообществу r/nvidia свой уникальный проект — вычислительный кластер в формате «sleeper build» (сборка, скрывающая мощное железо в невзрачном или старом корпусе). Система состоит из четырех узлов на базе процессоров Ryzen 5950X, но автор столкнулся с дилеммой при выборе видеокарт для масштабирования проекта.
На данный момент кластер функционирует с одной видеокартой GeForce RTX 3090, которая разделяется между узлами. Долгосрочная цель энтузиаста — оснастить каждый из четырех компьютеров собственным GPU и объединить их в единую сеть через интерфейс Mellanox с использованием технологии RDMA (прямой доступ к памяти). Однако автор опасается, что потребительские карты серии RTX 3090 плохо поддерживают GPU RDMA, так как эта функция обычно зарезервирована для серверных решений.
Система используется для локального запуска LLM (языковых моделей) и рабочих процессов с агентами LangChain. Автор отмечает, что его задачи требуют вычислительной мощности, но не критичны к огромному объему видеопамяти. Сейчас он решает: купить еще три подержанных RTX 3090, что уже является финансовой нагрузкой, или копить средства на архитектуру Blackwell (будущие RTX 50-й серии) с 24 ГБ памяти, несмотря на их высокую стоимость.