Последнее обновление Llamafile предоставляет поддержку набора инструкций AVX-512, что позволяет процессорам, поддерживающим эту технологию, значительно увеличить производительность при использовании данного программного обеспечения. Сообщается, что процессоры AMD Zen 4 "Ryzen" испытают десятикратное ускорение оценки запросов с новым обновлением, что в конечном итоге позволит добиться гораздо более эффективной работы LLM на этом инструменте.
Llamafile, разработанный Mozilla Ocho, является инструментом, который можно развернуть с помощью одного исполняемого файла, сочетающего модель LLM с необходимыми библиотеками для её выполнения. Инструмент направлен на то, чтобы сделать LLM доступными для более широкой аудитории, используя как вычисления на CPU, так и на GPU. Llamafile получил большую популярность среди разработчиков, особенно потому, что он устраняет необходимость в дорогостоящих решениях для доступа к LLM, но в настоящее время он все еще находится на ранних стадиях развития, поэтому существуют области неточностей, которые, как ожидается, будут устранены в ближайшем будущем.
Новое улучшение производительности пока не было протестировано, но Phoronix заявляет, что они планируют испытать новый Llamafire 0.7 в будущем как на системах AMD, так и на Intel. Последняя версия доступна на GitHub. Стоит отметить, что процессоры Ryzen от AMD являются единственными потребительскими чипами, поддерживающими инструкции AVX-512, в то время как Intel отказалась от поддержки этой технологии, так как это влияет на продажи их чипов Xeon, что дает платформе Ryzen AMD преимущество для пользователей, желающих запускать приложения, использующие AVX-512.
