Гибридная модель Gemma 4 получила 26 млрд параметров и 128 экспертов

Гибридная модель Gemma 4 получила 26 млрд параметров и 128 экспертов

После недавнего релиза мультимодальных нейросетей Gemma 4 от корпорации Google технические специалисты детально изучили архитектуру новинок. Линейка включает 4 модели с окном контекста от 128 000 до 256 000 токенов. Технологическим прорывом стала гибридная модель на 26 млрд параметров со смешиванием 128 экспертов. Флагманская классическая версия получила 31 млрд параметров, а компактные варианты оперируют от 2 до 4 млрд активных весов.

Все представленные версии глубоко интегрированы в экосистему компании NVIDIA и способны обрабатывать потоки текста, аудио, видео и изображений. Новинки поддерживают 35 языков прямо из коробки. Флагманская модель получила специальную квантованную модификацию NVFP4, которая снижает потребление памяти в 2 раза при работе на серверных платформах. Базовые файлы уже доступны для свободного скачивания на платформе Hugging Face.

Особый интерес у разработчиков вызвала возможность запуска тяжелых вычислений на 1 устройстве. Энтузиасты уже оптимизировали работу нейросетей через популярные приложения вроде Ollama и Unsloth. Это позволяет запускать искусственный интеллект на обычных видеокартах, портативных системах линейки Jetson или рабочих станциях. Локальное развертывание гарантирует 100% конфиденциальности данных при создании автономных агентов.

ЦЕНТР ОБСУЖДЕНИЙ

@GameGPU_com

Присоединяйтесь к обсуждению, делитесь результатами своих бенчмарков и спорьте о производительности железа в X.

Обсудить в X

Игры

Железо