Fusion de perspectives visuelles: concevoir l'interaction humain-IA pour la génération d'images multimodales

Description

Les grands modèles gagnent en popularité pour soutenir des tâches quotidiennes, telles que répondre à des questions, reconnaître des images téléchargées ou générer des visuels à partir d'instructions utilisateur. Cependant, les modalités d'interaction entre les humains et les grands modèles de langage, ou les modèles vision-langage, restent encore peu explorées. Par exemple, nous comprenons encore mal comment les utilisateurs peuvent guider efficacement ces modèles afin de produire des textes ou des visuels pertinents.

Ce projet se concentre sur les modèles multimodaux, avec un intérêt particulier pour la manière dont les utilisateurs pourraient générer des images à partir de plusieurs références visuelles. Plus précisément, nous cherchons à étudier comment soutenir la fusion de plusieurs images en une sortie visuelle cohérente, tout en maintenant une expérience d'interaction centrée sur l'utilisateur.