Компания NVIDIA анонсировала выпуск Nemotron 3.5 Lightning — кастомизируемой открытой модели, предназначенной для быстрого выполнения специализированных задач агентов. Новинка способна работать локально на персональных компьютерах с видеокартами NVIDIA RTX, а также на системах DGX Spark. В дополнение к модели представлено открытое библиотечное решение NeMo Switchyard, которое помогает разработчикам находить оптимальный баланс между точностью работы, скоростью выполнения запросов и вычислительными затратами.
Представленная модель Nemotron 3.5 Lightning обеспечивает генерацию токенов до 4x быстрее и завершает выполнение задач на 30% быстрее по сравнению с аналогичными решениями в своем классе. Открытые веса позволяют пользователям дообучать модель на собственных примерах для создания персональных локальных инструментов. Сфера применения охватывает ассистентов для работы с электронной почтой и календарями, системы управления умным домом, а также помощников для написания кода, способных взаимодействовать с локальной базой данных.
Выпуск новых инструментов подчеркивает стремление компании к развитию приватных и постоянно доступных локальных ИИ-агентов. Разработчики и энтузиасты получают возможность разворачивать автономные сервисы без необходимости постоянного подключения к облачной инфраструктуре. Использование библиотеки NeMo Switchyard дополнительно упрощает маршрутизацию нагрузок между различными моделями, повышая общую эффективность работы всей системы.