Des chercheurs de la NWPU identifient les pics émotionnels

Une vidéo peut passer la majeure partie de son temps dans un état neutre ou transitoire, puis devenir émotionnellement chargée pendant quelques secondes seulement. Les systèmes traditionnels étiquettent pourtant souvent l’ensemble du clip. À l’Université polytechnique du Nord-Ouest, le professeur Xie Songyun et des chercheurs de l’École d’intelligence artificielle ont constitué un jeu de données conçu pour repérer ce pic, et leurs tests ont fait passer la précision moyenne de huit algorithmes de reconnaissance des émotions de 34,7 % à 38,5 %.

L’équipe a baptisé ce jeu de données multimodal FIRMED. Les participants ont regardé des vidéos expérimentales, les ont immédiatement repassées et ont marqué un ou plusieurs moments émotionnels évidents, en indiquant à la fois la catégorie et l’intensité. Ce rappel immédiat devait éviter d’interrompre la collecte des émotions naturelles et des signaux physiologiques, tout en réduisant le biais mémoriel susceptible d’apparaître lorsque les réponses sont recueillies plus tard. Les chercheurs ont ensuite centré sur chaque marque une fenêtre d’événement émotionnel de quatre secondes : deux secondes avant et deux secondes après.

Les comparaisons par ablation ont montré que quatre secondes constituaient un compromis entre exhaustivité et précision ; une fenêtre de cinq secondes diluait les caractéristiques associées à la surprise et au dégoût, tout en atténuant la suppression alpha liée à la peur et l’amplification gamma liée au bonheur. Lors d’une vérification portant sur 150 enregistrements sélectionnés aléatoirement, deux évaluateurs indépendants ont obtenu un kappa de Cohen de 0,96 pour l’accord sur les catégories émotionnelles, et 97,7 % des marqueurs temporels se situaient à moins d’une seconde.

Le changement pratique consiste à ne plus demander quelle émotion imprègne une vidéo, mais quand le signal devient significatif. Cela pourrait aider une interface homme-machine à réagir au moment le plus chargé émotionnellement, permettre au dépistage en santé mentale de se concentrer sur les segments cliniquement importants ou favoriser des avertissements en temps réel sur des appareils portables. Ces usages sont des applications proposées, et non des déploiements décrits dans l’étude.

Qu’est-ce qui change maintenant ? Pour les chercheurs qui développent des modèles d’émotions, le résultat offre une méthode d’étiquetage plus précise et un gain mesurable avec huit algorithmes représentatifs, les modèles spatio-temporels plus complexes étant les principaux bénéficiaires. Les éléments présentés proviennent de l’évaluation menée par l’équipe de la NWPU.