Thèse Année : 2025

Deep learning for immersion and natural 3D interaction within intelligent mixed reality experiences

Deep learning pour l'immersion et l'interaction 3D naturelle dans les expériences de réalité mixte intelligente

Résumé

Mixed Reality aims to merge real and virtual worlds so that digital objects appear present and directly manipulable. Two major challenges remain: achieving real-time scene understanding at 30-60 fps and enabling natural, controller-free 3D interaction under strict latency and power constraints. Recent methods—anchor-free transformers, multi-scale attention mechanisms, and temporal-shift networks—deliver strong accuracy but often exceed the ≈ 30 ms frame budget on standalone devices. This thesis explores the co-design of models, datasets, and deployment strategies so that a mobile MR device can achieve both reliable detection and hands-free interaction within tight real-time (< 30 ms) and compute (≈ 10 GFLOPs) envelopes, since model compression alone is usually insufficient.We introduce a lightweight detector that combines a shallow CNN backbone with a compact transformer decoder (7.8 M parameters, 7.3 GFLOPs) trained on the Indoor-Objects-28 dataset (19 162 images, 28 classes). To better capture small or low-texture targets without increasing the compute budget, we add a dual-focus multi-scale attention block using depthwise 3/5/7-pixel kernels and squeeze-excite gating, inserted at three feature levels with less than 5 % FLOPs overhead. To evaluate robustness, we generate a synthetic astronomy dataset (40 000 renders) for sim-to-real adaptation, which improves average precision by +3 AP on real astrophotography images while maintaining runtime within the target budget.For hand-based interaction, dense 3D networks such as I3D and SlowFast reach high accuracy but require tens of GFLOPs and large memory. Lighter temporal-shift models are more efficient but plateau near 90 % Top-1 accuracy. We therefore design a compact MobileNet-based temporal-shift model that isolates motion using forward/backward frame differences and is trained end-to-end on the 20BN-Jester dataset (148 k clips, 27 gestures). This model achieves ~95 % Top-1 accuracy, fits in about 15 MB, and runs comfortably above 30 fps on mobile hardware with sub-10 ms latency.Under fair evaluation, results on Indoor-Objects-28 show our detector reaching 42.0 % mAP50:95 with an average inference time of 12 ms. YOLOv8-n achieves 40.4 % at 13 ms, while RT-DETR attains 45 % but is roughly 15× slower (184 ms). On MS-COCO, adding the multi-scale attention block raises mAP50:95 to 41.3 % at 7.6 GFLOPs—around +4 points at a runtime comparable to YOLOv8-n—whereas RT-DETR-R18 (46.5 %) exceeds the target compute budget (≈ 15 GFLOPs). For gesture recognition, the proposed model achieves 95.3 % Top-1 accuracy with just 0.084 GFLOPs and < 10 ms latency, outperforming MobileNet-TSM by 5.5 % while consuming an order of magnitude fewer resources than typical 3D architectures. After INT8 quantization and integration into Unity/Sentis, the full pipeline sustains continuous real-time performance on consumer XR hardware. A user study further confirms perceived improvements in responsiveness and usability.Looking forward, several extensions can further improve robustness while respecting latency and compute constraints: RGB-depth-IMU fusion, open-set detection using CLIP-style heads, continuous gesture segmentation, context-aware assistance via language models, and adaptive switching between INT8 and FP16 inference based on system load.

La réalité mixte vise à fusionner les mondes réel et virtuel afin que les objets numériques paraissent présents et manipulables directement. Deux grands défis subsistent : la compréhension de scène en temps réel à 30-60 fps et l'interaction 3D naturelle avec les mains, le tout sous des contraintes strictes de latence et de consommation énergétique. Les approches récentes - transformeurs sans ancres, attention multi-échelle, réseaux à décalage temporel - atteignent une grande précision mais dépassent souvent la limite d'environ 30 ms sur des appareils autonomes. Cette thèse s'intéresse donc à la co-conception entre modèles, données et déploiement, afin qu'un dispositif de réalité mixte mobile assure à la fois une détection fiable et une interaction mains libres, tout en respectant des contraintes strictes de temps réel (< 30 ms) et de calcul (≈ 10 GFLOPs), la seule compression étant en général insuffisante.Un détecteur léger combinant un petit réseau convolutionnel et un décodeur transformeur compact (7,8 M de paramètres, 7,3 GFLOPs) a été entraîné sur un jeu de données d'objets en intérieur (19 162 images, 28 classes). Pour mieux capter les petites cibles et les surfaces peu texturées sans augmenter le budget de calcul, un bloc d'attention multi-échelle a été ajouté avec des noyaux 3/5/7 px et une passerelle de type squeeze-excite, inséré à trois niveaux pour un surcoût ≤ 5 % en FLOPs. Pour évaluer la robustesse, un corpus synthétique d'astronomie (40 000 rendus) a permis une adaptation sim-to-real, offrant un gain de +3 AP sur des images réelles sans dégrader le temps d'inférence.Pour l'interaction manuelle, les réseaux 3D denses (I3D, SlowFast) offrent une excellente précision mais nécessitent des dizaines de GFLOPs et une mémoire importante ; les variantes légères basées sur le décalage temporel sont plus efficaces mais plafonnent autour de 90 % de précision Top-1. Un modèle MobileNet-TSM compact a donc été conçu pour isoler le mouvement via des différences d'images avant/arrière et entraîné de bout en bout sur le jeu 20BN-Jester (148 000 clips, 27 gestes). Il maintient environ 95 % de précision Top-1, occupe ~15 Mo et dépasse largement les 30 fps sur mobile avec une latence inférieure à 10 ms.À complexité comparable, les résultats sur le jeu Indoor-Objects-28 montrent une mAP50:95 de 42 % pour 12 ms d'inférence moyenne ; YOLOv8-n atteint 40,4 % en 13 ms, tandis que RT-DETR atteint 45 % mais reste environ 15 fois plus lent (184 ms). Sur MS-COCO, l'ajout de l'attention multi-échelle porte la mAP50:95 à 41,3 % pour 7,6 GFLOPs, soit +4 points pour un temps d'exécution comparable à YOLOv8-n, alors que RT-DETR-R18 (46,5 %) dépasse l'enveloppe de calcul visée (~15 GFLOPs). Pour les gestes, le modèle atteint 95,3 % de précision Top-1 avec seulement 0,084 GFLOPs et une latence < 10 ms, surpassant MobileNet-TSM de 5,5 % tout en consommant dix fois moins de ressources que les réseaux 3D de référence.Après quantification INT8 et intégration dans Unity/Sentis, l'ensemble de la chaîne fonctionne en continu à cadence temps réel sur du matériel XR grand public. Une étude utilisateur a mis en évidence des gains perçus en vitesse et en confort d'utilisation. Pour la suite, la fusion des données RGB, profondeur et IMU, l'ajout de têtes de détection en vocabulaire ouvert inspirées de CLIP, la segmentation continue des gestes, l'assistance contextuelle via modèles de langage et un basculement adaptatif entre INT8 et FP16 constituent des pistes prometteuses pour améliorer encore la robustesse tout en respectant les contraintes de calcul et d'énergie.

Fichier principal
Vignette du fichier
2025UPASG066.pdf (36.74 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05421225 , version 1 (17-12-2025)

Licence

Identifiants

  • HAL Id : tel-05421225 , version 1

Citer

Salah-Eddine Laidoudi. Deep learning for immersion and natural 3D interaction within intelligent mixed reality experiences. Artificial Intelligence [cs.AI]. Université Paris-Saclay, 2025. English. ⟨NNT : 2025UPASG066⟩. ⟨tel-05421225⟩
571 Consultations
116 Téléchargements

Partager

  • More