head-hanter.ruКоманда «Сбера» опубликовала в открытый доступ первую диффузионную языковую модель GFusion на основе GigaChat. Это тестовый проект, который будет полезен, в первую очередь, исследователям и разработчикам, которые создают собственные подобные решения, рассказали редакции IT Speaker в пресс-службе компании.
Эксперты отмечают, что стандартные большие языковые модели, или LLM, создают текст последовательно, слово за словом (авторегрессия), поэтому, чтобы исправить одну ошибку, модель вынуждена переписывать весь ответ заново.
GFusion работает по другому принципу: сначала модель генерирует приблизительный «набросок» ответа, а затем пошагово дорабатывает его – так же, как нейросети генерируют изображения и видео. Благодаря параллельной генерации GFusion пишет текст быстрее: по тестам «Сбера» – до 45% быстрее GigaChat 3, на основе которого она обучалась.
Более того, диффузионные модели быстрее: токены генерируются не по одному, а сразу пачками. Их генерация более гибкая: в отличие от авторегрессионных моделей, текст не обязательно пишется строго слева направо – модель сама выбирает, какую часть ответа дополнить на каждом шаге. Диффузионные модели, помимо прочего, извлекают больше информации из ограниченного объема данных.
Вместе с GFusion «Сбер» опубликовал инструменты, ускоряющие обучение диффузионных моделей – первый такой опенсорс-проект в России. Они позволяют разработчикам обучать свои модели быстрее и с меньшим числом видеокарт.
Ранее «СберМедИИ» (является частью «Сбера») озвучила ключевые векторы развития, направленные на повышение качества и доступности медицинской помощи. На VI Всероссийском форуме «НОВАМЕД-2026» генеральный директор компании Виктор Ушаков заявил о фокусе на создании мультиагентной ИИ-системы для сферы медицины.
«СберТех» поможет бизнесу в работе с большими данными