A-Vibe демонстрирует превосходные результаты в понимании запросов, генерации кода и ведении осмысленных диалогов. Технология уже активно используется в сервисах Авито, помогая продавцам создавать привлекательные описания и ускоряя процесс согласования сделок в мессенджерах. До конца года компания планирует внедрить еще 20 новых сценариев использования, а в будущем может открыть код модели для общественности. Об этом ИА «Уральский меридиан» рассказали в пресс-службе сервиса.
Как отметил старший директор по данным и аналитике Авито Андрей Рыбинцев, первое место доказывает, что оптимизированная архитектура и качественные данные могут обеспечить отличные результаты даже при небольшом размере модели. Баланс между качеством, скоростью работы и затратой ресурсов позволяет A-Vibe обеспечивать быструю обработку запросов даже в периоды пиковой нагрузки и масштабировать технологию на всю аудиторию платформы.
«Именно обучение небольшой модели под наши нужды позволяет нам закладывать окупаемость инвестиций: Авито планирует вложить в GenAI около 12 млрд рублей, а заработать более 21 млрд рублей к 2028 году», – прокомментировал Андрей Рыбинцев.
Результаты A-Vibe
A-Vibe обошла такие модели, как GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku и Mistral Large. Тестирование охватывало задачи различной сложности — от базового понимания текста до сложных лингвистических задач, требующих глубокого анализа контекста.
Некоторые результаты тестирования MERA:
- Генерация кода: на 25% лучше Gemini 1.5 с 8 миллиардами параметров.
- Ведение диалога: на 32% точнее Llama 3.1 с 405 миллиардами параметров.
- Анализ смысла текста: на 23% точнее Claude 3.5 Haiku.
Технические особенности A-Vibe
Команда Авито разработала генеративные модели A-Vibe и A-Vision, начав с открытой модели, которая имела ограничения в работе с русским языком:
- Модель обучалась на данных более чем 100 языков, где русский составлял менее 1% общего объема.
- Это негативно сказывалось на понимании и генерации текста на русском.
Разработчики модифицировали модель, проведя «русификацию» и заменив стандартный токенизатор на собственный, оптимизированный для русского языка. Это дало два ключевых преимущества:
- Ускорение обработки: модель работает с русским текстом в два раза быстрее по сравнению с оригиналом.
- Повышение качества: улучшилось понимание и генерация текста на русском.
Эти изменения позволили A-Vibe стать лидером в своем классе для работы с русскоязычным контентом согласно независимым тестам MERA. Модель может одновременно обрабатывать до 32 тысяч токенов, что делает ее эффективной для работы с объемными текстами.
Руководитель разработки больших языковых моделей «Авито» Анастасия Рысьмятова комментирует, что рассматривается возможность выпуска модели в открытый доступ, что станет вкладом в развитие российского рынка ИИ.
«Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели», — отметила Анастасия Рысьмятова.
О бенчмарке MERA
Бенчмарк MERA — это российский стандарт оценки языковых моделей, разработанный научным сообществом. Он тестирует понимание русского языка и культурного контекста. Проект поддерживается Альянсом ИИ, ведущими игроками индустрии и академическими партнерами, занимающимися исследованием языковых моделей.
Ранее ИТ-компания Авито объявила о начале приема заявок на стажировки для аналитиков и разработчиков.