Корпорация Google официально представила инновационный алгоритм сжатия данных под названием TurboQuant. Данная технология разработана специалистами подразделения Google Research для существенного снижения потребления памяти в больших языковых моделях и векторных поисковых системах. Инструмент решает проблему узких мест в кэше ключ-значение, работая в связке с алгоритмами PolarQuant и Quantized Johnson-Lindenstrauss (сокращенно QJL).
Тестирование технологии на открытых языковых моделях Gemma, Mistral и Llama-3.1-8B-Instruct показало впечатляющие результаты. В бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS, RULER и L-Eval алгоритм TurboQuant добился сокращения размера памяти в 6 раз без потери точности. На серверных графических ускорителях H100 зафиксирован 8-кратный прирост производительности вычислений по сравнению с использованием неквантованных ключей.
Финансовые рынки отреагировали на программный анонс резким падением котировок крупных производителей компьютерной памяти. По данным портала Investing.com, на фоне роста индекса Nasdaq 100 акции SanDisk Corporation упали на 5,7%, а бумаги Western Digital просели на 4,7%. Активы компаний Micron Technology и Seagate Technology также снизились на 3% и 4% соответственно из-за опасений инвесторов о грядущем падении спроса на оборудование.