Influence of multimodal instructions on learning tool manipulation skills through mentoring in an immersive environment
Influence des instructions multimodales sur l'apprentissage par compagnonnage des compétences de manipulation d'outil dans un environnement immersif
Résumé
Mentorship allows novices to acquire skills under the guidance of experts who use various communication modalities. However, reproducing this model in immersive simulators remains challenging, particularly in ensuring effective communication between experts and novices. Our study explores the impact of multimodal expert-novice communication to transmit instructions on the amplitude of movements in a tool manipulation task in an immersive environment. The results reveal that combining visual-haptic modalities improves movements’ precision, speed, and quality. Additionally, the verbal-visual-haptic combination enhances the sense of presence, co-presence, and learning experience. These results suggest that the visual-haptic combination is optimal for improving novice performance, and integrating the verbal modality enhances the user experience. These findings open new perspectives for improving the acquisition of technical skills through VR mentorship using multimodal communication.
La formation par compagnonnage permet aux novices d’acquérir des compétences sous la supervision d’experts qui utilisent diverses modalités de communication. Cependant, reproduire ce modèle dans des simulateurs immersifs reste un défi, notamment pour assurer une communication efficace entre experts et novices. Notre étude explore l’impact de la communication multimodale expert-novice pour transmettre des instructions sur l’amplitude des mouvements dans une tâche de manipulation d’outils en environnement immersif. Les résultats révèlent que la combinaison des modalités visuelle-haptique améliore la précision, la vitesse et la qualité des mouvements. De plus, la combinaison verbale-visuelle-haptique renforce le sentiment de présence et de coprésence, et l’expérience d’apprentissage. Ces résultats suggèrent que la combinaison visuelle-haptique est optimale pour améliorer les performances des novices, et que l’intégration de la modalité verbale améliore l’expérience utilisateur. Ces conclusions ouvrent de nouvelles perspectives pour améliorer l’acquisition de gestes techniques par compagnonnage en réalité virtuelle grâce à la communication multimodale.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|