Connect with us

Hi, what are you looking for?

Наука и технологии

ИИ научили понимать эмоции по комбинации текста, аудио и видео

Для анализа эмоций, выраженных с помощью различных средств коммуникации, ученые использовали двухэтапную модель с использованием трансформеров — современных языковых моделей. Разработанная система превзошла или показала себя наравне с существующими аналогами при тестировании на открытых базах данных.

Анализ происходит следующим образом: сначала из текста, аудио и видео извлекаются ключевые признаки, затем происходит их объединение с дополнительной контекстной информацией. На первом этапе происходит первичное слияние информации, где текстовые данные взаимодействуют с аудио и видео, позволяя каждой модальности адаптироваться к другим. Затем полученный результат объединяется с исходными текстовыми данными.

На втором этапе происходит более тонкое слияние, где адаптированные нетекстовые данные усиливают текстовые, подготавливая их к финальному прогнозированию эмоций.

You May Also Like

Наука и технологии

Посетитель такого заведения не застрахован от заражения опасными инфекциями, включая сальмонеллёз. Врач объяснил, почему такое может произойти. Жемчугов отметил, что в морской рыбе, которую...

Наука и технологии

Записывать видеофрагменты можно как безостановочно в фоновом режиме, так и с таймингом — по сочетанию горячих клавиш. Можно задать место сохранения на жёстком диске...

Наука и технологии

Общественный деятель и юрист Валерия Рытвина направила генеральному прокурору РФ Игорю Краснову заявление с просьбой провести прокурорскую проверку Сбербанка в связи с использованием им...

Наука и технологии

«Платформа» предлагает пользователю интерфейс и функционал, близкие к популярному американскому видеохостингу. Сервис оборудован системой рекомендаций, инструментами продвижения и аналитики для блогеров, поддерживает видеоролики до 4K с субтитрами, распознающими русский...