Большая языковая модель A-Vibe от Авито заняла первое место среди облегченных моделей (до 10 млрд параметров) в независимом российском бенчмарке MERA, обойдя международные аналоги от OpenAI, Google и Anthropic. На втором месте — T-lite-it-1.0, на третьем — Ru adapt Gen2.5-7B-Lite-v1*. Как выяснили в исследовании, A-Vibe лучше аналогичных моделей понимает запросы, генерирует код и поддерживает осмысленный диалог, сообщает Авито.
"Первое место доказывает, что оптимизированная архитектура и качественные данные могут обеспечить отличные результаты даже при небольшом размере модели. A-Vibe создавалось оптимальной по соотношению между качеством, скоростью работы и затратой ресурсов. Такой баланс позволяет обеспечивать быструю обработку запросов даже в периоды пиковой нагрузки и масштабировать технологию на всю аудиторию платформы. Именно обучение небольшой модели под наши нужды позволяет нам закладывать окупаемость инвестиций: Авито планирует вложить в GenAI около 12 млрд рублей, а заработать более 21 млрд рублей к 2028 году", — отметил старший директор по данным и аналитике Авито Андрей Рыбинцев.
A-Vibe* обошла такие модели, как GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие популярные небольшие нейросети. Тестирование включало задачи различной сложности — от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом.
Скриншот. Фото: предоставлено Авито
Некоторые результаты тестирования MERA:
- Генерация кода: на 25% лучше Gemini 1.5 с 8 млрд параметров
- Ведение диалога: на 32% точнее Llama 3.1 с 405 млрд параметров
- Способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku
"Мы рассматриваем возможность выпуска модели в открытый доступ, что станет нашим вкладом в развитие российского рынка ИИ. Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели", — комментирует руководитель разработки больших языковых моделей "Авито" Анастасия Рысьмятова.
Справка: Бенчмарк MERA — это российский стандарт оценки языковых моделей, разработанный научным сообществом. В рамках замера тестируют понимание русского языка и культурного контекста. Проект поддерживает Альянс ИИ, ведущие индустриальные игроки и академические партнеры, которые занимаются исследованием языковых моделей.
*A-Vibe разработана ООО "Авито Тех" — ИТ-компанией группы Авито
**возрастное ограничение для всех нейросетей 18+
