Первая в России мультимодальная языковая модель, которая может вести диалог и отвечать на вопросы, используя картинки, теперь поддерживает русский язык. Эта модель искусственного интеллекта (ИИ), под названием OmniFusion разработана при участии специалистов из Sber AI и SberDevices Сбербанка. Научно-исследовательский институт ИИ (AIRI) представил открытую версию этой модели — OmniFusion 1.1, которая уже получила признание в научном сообществе.
OmniFusion позволяет анализировать и описывать изображения, распознавать текст и решать различные задачи. Модель может распознать предметы на фото, найти рецепт блюда по изображению его ингредиентов и даже анализировать медицинские изображения. Однако для обучения модели на медицинских данных требуется дополнительная экспертиза, чтобы избежать потенциальных ошибок.
Основанный на глубоком обучении метод OmniFusion стал возможным благодаря команде FusionBrain из AIRI при поддержке учёных из Sber AI и SberDevices. Эта модель ведёт новую волну развития в области искусственного интеллекта, обеспечивая улучшенную способность анализа и взаимодействия с данными в различных форматах.
