Vulnérabilité et robustesse des modèles d’apprentissage pour la reconnaissance de genre en réalité virtuelle

Kraiem, Emna (2026). Vulnérabilité et robustesse des modèles d’apprentissage pour la reconnaissance de genre en réalité virtuelle. Mémoire. Gatineau, Université du Québec en Outaouais, Département d'informatique et d'ingénierie, 211 p.

Prévisualisation

PDF Télécharger (9MB) | Prévisualisation

Résumé

La réalité virtuelle (RV) ofre de nouvelles opportunités pour l’analyse comporte-mentale et la reconnaissance d’identité. Les équipements RV capturent en continu les mouvements corporels des utilisateurs, ce qui permet non seulement d’analyser leur comportement, mais aussi de les authentifer de manière continue au sein d’un espace immersif. Ces données peuvent en efet révéler des attributs personnels tels que le genre, ce qui soulève des enjeux importants en matière de vie privée : une personne évoluant dans un environnement virtuel pourrait voir son genre inféré à son insu à partir de sa simple façon de bouger.
Il a été démontré que des modèles d’apprentissage automatique sont capables de déterminer le genre d’une personne à partir des données de mouvement captées par des équipements de RV. Dans ce contexte, on peut faire l’hypothèse qu’une personne cherche à tromper un tel modèle en modifant volontairement sa façon de bouger. Ce mémoire étudie dans quelle mesure ces modèles restent fables face à ce type de manipulation, en testant plusieurs familles de modèles : des approches classiques (Random Forest, XGBoost, LightGBM, Gradient Boosting, MLP) et des modèles qui tiennent compte de la structure temporelle des signaux de mouvement (LSTM, CNN–LSTM, ResNet1D, TimesNet). Plus d’une centaine de scénarios ont été testés, incluant des modifcations volontaires de posture, de synchronisation des mains ou de dynamique gestuelle, ainsi que des perturbations numériques simulant des erreurs de calibration du matériel.
Les résultats montrent que tous les modèles subissent une dégradation importante de leurs performances lorsque les mouvements sont altérés. Aucun modèle n’est tota¬lement robuste, et les performances varient beaucoup selon le type de modifcation et l’architecture du modèle.
Pour faire face à ces vulnérabilités, plusieurs mécanismes de défense ont été déve-loppés et évalués. Dans un premier temps, dix-neuf défenses appliquées séparément ont été testées : certaines nettoient les données avant la prédiction, d’autres détectent et re¬ jettent les exemples suspects, d’autres encore font voter plusieurs modèles ou renforcent le modèle dès l’entraînement. Dans un second temps, ces défenses ont été combinées en les appliquant l’une après l’autre sur le même exemple, ce qui a permis d’améliorer encore davantage la robustesse. Enfn, un système adaptatif a été conçu et amélioré à travers cinq versions successives. Ce système détecte automatiquement le type de mani¬pulation et choisit la défense la plus adaptée selon le modèle utilisé, ofrant le meilleur résultat parmi toutes les approches testées.
Ce mémoire montre qu’il est possible de renforcer signifcativement la robustesse des modèles de classifcation du genre en RV grâce à des stratégies de défense bien choisies. Il propose un cadre d’évaluation complet et des solutions concrètes pour mieux protéger les systèmes de reconnaissance d’identité dans les environnements immersifs.

Virtual reality (VR) ofers new opportunities for behavioral analysis and identity re-cognition. VR devices continuously capture users’ body movements, making it possible not only to analyze their behavior but also to authenticate them on an ongoing basis within an immersive space. This movement data can reveal personal attributes such as gender, raising important privacy concerns : a person moving through a virtual envi¬ronment could have their gender inferred without their knowledge, simply from the way they move.
It has been shown that machine learning models can determine a person’s gender from movement data captured by VR devices. In this context, one can assume that a person might try to fool such a model by deliberately changing the way they move. This thesis examines how reliable these models remain when faced with this type of mani¬pulation, by testing several families of models : standard approaches (Random Forest, XGBoost, LightGBM, Gradient Boosting, MLP) and models that take into account the time-based structure of movement signals (LSTM, CNN–LSTM, ResNet1D, TimesNet). Over a hundred scenarios were tested, including deliberate changes in posture, hand timing, and gesture dynamics, as well as numerical perturbations simulating hardware calibration errors.
The results show that all models experience a signifcant drop in performance when movements are altered. No model is fully robust, and performance varies considerably depending on the type of modifcation and the model architecture.
To address these weaknesses, several defense mechanisms were developed and eva¬luated. First, nineteen defenses applied individually were tested : some clean the input data before making a prediction, others detect and reject suspicious examples, some combine votes from multiple models, and others make the model more resistant during training. Second, these defenses were combined by applying them one after another on the same example, which further improved robustness. Finally, an adaptive system was designed and refned through fve successive versions. It automatically detects the type of manipulation and selects the most appropriate defense for the model in use, giving the best results among all approaches tested.
This work shows that the robustness of gender classifcation models in VR can be signifcantly improved with well-chosen defense strategies. It provides a complete eva¬luation framework and practical solutions to better protect identity recognition systems in immersive environments.

Type de document:	Thèse, mémoire ou essai de 2e et 3e cycle (Mémoire)
Directeur de mémoire/thèse:	Davoust, Alan
Départements et école, unités de recherche et services:	Informatique et ingénierie
Date de dépôt:	23 oct. 2026 13:11
Dernière modification:	23 oct. 2026 13:11
URI:	https://di.uqo.ca/id/eprint/2027

Gestion Actions (Identification requise)

Éditer la notice