Multisensor affect recognition for data collected during virtual reality immersions

Joudeh, Itaf Omar (2025). Multisensor affect recognition for data collected during virtual reality immersions. Thèse. Gatineau, Université du Québec en Outaouais, Département d'informatique et d'ingénierie, 209 p.

Prévisualisation

PDF Télécharger (5MB) | Prévisualisation

Résumé

Cette étude vise, à long terme, à concevoir et à développer une nouvelle intervention adaptable pour traiter les troubles cognitifs en utilisant la réalité virtuelle (RV). L'état affectif d'une personne reflète son état émotionnel/cognitif, qui pourrait être mesuré par les dimensions d'activation et de valence, selon le modèle Circumplex. Cette thèse propose et valide plusieurs nouvelles solutions d'apprentissage automatique dans le but ultime d'ajuster de manière adaptative les environnements de RV aux états affectifs des utilisateurs. Les modèles d'apprentissage automatique proposés ont été utilisés pour la prédiction des valeurs d'activation/valence à partir de diverses sources de données, à savoir des données physiologiques, visuelles et acoustiques. Dans cette thèse, les valeurs d'activation/valence ont été initialement prédites en exploitant les enregistrements de l'ensemble de données Remote Collaborative and Affective Interactions (RECOLA), afin d'identifier les modèles les plus prometteurs à ajuster, tester et valider à l'aide de données recueillies lors d'immersions en RV au Laboratoire de cyberpsychologie de l'UQO. Les signaux d'activité électrodermale (EDA) et d'électrocardiogramme (ECG) de RECOLA représentent des données physiologiques, tandis que les enregistrements vidéo et audio de RECOLA représentent des données visuelles et acoustiques pour l'expérimentation dans cette thèse. Divers schémas de fusion de décision ont également été appliqués pour combiner les prédictions d'activation et de valence des régresseurs les plus performants. Une régression multimodale a également été réalisée pour prédire les valeurs d'activation/valence à partir de caractéristiques physiologiques, visuelles et acoustiques combinées. La fusion des décisions et des caractéristiques a permis d'améliorer les performances de prédiction.
Les principales contributions de la thèse comprennent un test empirique auprès de personnes immergées en RV, basé sur des données recueillies au Laboratoire de cyberpsychologie de l'UQO à cette fin. Des données physiologiques (caractéristiques de l'ECG) et visuelles (caractéristiques des yeux et du visage) ont été recueillies lors des immersions en RV. Les données collectées ont ensuite été synchronisées, traitées et étiquetées avec les annotations d'activation/valence correspondantes. Des régresseurs d'apprentissage automatique ont ensuite été testés pour prédire les valeurs d'activation/valence. Bien qu'une comparaison directe n'ait pas été possible, les performances obtenues sont cohérentes avec celles disponibles dans la littérature pour la prédiction d'activation/valence. Sur la base des résultats de l'analyse réalisée sur les données RECOLA et sur celles collectées lors de l'étude de RV, les solutions proposées ont démontré leur potentiel d'intégration dans un système de RV pour la réadaptation cognitive des patients souffrant de schizophrénie. L'objectif ultime est d'optimiser automatiquement le niveau de charge mentale demandé par les utilisateurs de RV. Cela peut faciliter les exercices de remédiation cognitive pour les utilisateurs souffrant de troubles de santé mentale, tout en évitant le découragement. Enfin, les contributions de la thèse ont le potentiel de transformer les traitements proposés et d'avoir un impact sur la vie des patients en réduisant les déficiences cognitives liées à la schizophrénie et à d'autres troubles mentaux.

Type de document:	Thèse (Thèse)
Directeur de mémoire/thèse:	Cretu, Ana-Maria
Co-directeurs de mémoire/thèse:	Bouchard, Stéphane
Départements et école, unités de recherche et services:	Informatique et ingénierie
Date de dépôt:	29 juill. 2026 19:21
Dernière modification:	29 juill. 2026 19:21
URI:	https://di.uqo.ca/id/eprint/1966

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt