Яндекс представил инновационные методы сжатия языковых моделей

Эти инновации позволят бизнесу существенно сократить расходы на вычислительные ресурсы, уменьшая их до восьми раз.

Для качественной и быстрой работы крупных языковых моделей обычно требуется множество мощных и дорогостоящих графических процессоров. Новые методы сжатия, предложенные Yandex, позволяют значительно уменьшить размер модели, снижая необходимость в большом количестве процессоров. Это делает внедрение и обслуживание нейросетей более доступным и экономически выгодным для бизнеса.

Разработки Yandex включают два основных инструмента. Первый из них уменьшает размер модели до восьми раз, что позволяет запускать её на меньшем количестве процессоров. Второй инструмент исправляет ошибки, возникающие при сжатии, что позволяет сохранять высокое качество ответов нейросети. В отличие от существующих методов, которые часто ухудшают качество, новый подход Yandex сохраняет до 95% качества ответов.

Эффективность этих методов была подтверждена на популярных моделях с открытым исходным кодом, таких как Llama 2, Llama 3 и Mistral. Сравнительные тесты показали, что сжатые модели Yandex сохраняют в среднем 95% качества ответов, тогда как другие методы сохраняют только от 59% до 90%.

Код новых методов и уже сжатые модели доступны на GitHub. Также опубликованы обучающие материалы, которые помогут разработчикам адаптировать уменьшенные нейросети для своих нужд.

Научная статья о методе сжатия AQLM, подготовленная Yandex Research совместно с ISTA и KAUST, была включена в программу одной из ведущих конференций по машинному обучению — ICML. Этот успех подчеркивает значительный вклад Yandex в развитие технологий искусственного интеллекта и подтверждает его лидирующие позиции в технологической сфере.