Нейросетевая модель Сбера GigaChat обошла большинство моделей в открытом доступе по итогам открытого бенчмарка MERA.
Для замера были представлены две инструктивные модели Сбера — GigaChat PRO и GigaChat Lite+. По итогу теста GigaChat PRO набрал 51,3 балла из 100, обогнав ближайшую модель Mixtral 8x7B Instruct (47,8).
Чем больше модель набирает баллов, тем точнее искусственный интеллект может решать множество интеллектуальных или бытовых задач: помогать писать статьи в нужном стиле и формате, искать информацию и подготавливать на ее основе аналитику. А бизнес с его помощью может создавать собственные решения и оптимизировать внутренние процессы.
«В условиях, когда большие языковые модели активно развиваются, важно иметь актуальное представление об их реальных способностях. Благодаря оценке пользователи могут понять, как применять GigaChat, а исследователи — получить объективную информацию для дальнейшего обучения, адаптации и развития больших языковых моделей. Это не только признание работы нашей команды, но и задел совершенствовать сервис, чтобы он становился еще более полезным и удобным как обычным пользователям, так и бизнесу», — отметил старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.